- feapder
是 一 款上手 简单,功 能 强大 的 Python爬虫框 架 ,内 置 AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。 支持 断 点 续爬、监控报警、浏览器 渲染、海 量 数 据 去 重 等 功 能 。更 有功 能 强大 的 爬虫管理 系 统feaplat为其提供 方便 的 部署 及调度
读音: [ˈfiːpdə]
官 方 文 档:https://feapder.com- github:https://github.com/Boris-code/feapder
更新 日 志 :https://github.com/Boris-code/feapder/releases- 爬虫
管理 系 统:http://feapder.com/#/feapder_platform/feaplat
- Python 3.6.0+
- Works on Linux, Windows, macOS
From PyPi:
pip install feapder
浏览
pip install "feapder[render]"
pip install "feapder[all]"
三个版本区别:
精 简版:不 支持 浏览器 渲染、不 支持 基 于内存 去 重 、不 支持 入 库mongo- 浏览
器 渲染版 :不 支持 基 于内存 去 重 、不 支持 入 库mongo 完 整 版 :支持 所 有功 能
创建爬虫
feapder create -s first_spider
创建
import feapder
class FirstSpider(feapder.AirSpider):
def start_requests(self):
yield feapder.Request("https://www.baidu.com")
def parse(self, request, response):
print(response)
if __name__ == "__main__":
FirstSpider().start()
Thread-2|2021-02-09 14:55:11,373|request.py|get_response|line:283|DEBUG|
-------------- FirstSpider.parse request for ----------------
url = https://www.baidu.com
method = GET
body = {'timeout': 22, 'stream': True, 'verify': False, 'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36'}}
<Response [200]>
Thread-2|2021-02-09 14:55:11,610|parser_control.py|run|line:415|DEBUG| parser 等 待 任 务...
FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务,爬虫结束
- start_requests:
生 产任务 - parse:
解析 数 据
贡献
- 爬虫
在 线工具 库:http://www.spidertools.cn - 爬虫
管理 系 统:http://feapder.com/#/feapder_platform/feaplat - 验证码识别库:https://github.com/sml2h3/ddddocr
如果您觉
也可
|
|
QQ |