(Translated by https://www.hiragana.jp/)
GitHub - Boris-code/feapder: 🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
Skip to content

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapderいち上手じょうず简单,こうのう强大きょうだいてきPython爬虫かまちうちおけAirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持しじだんてん续爬、监控报警、浏览渲染、うみりょうすうすえじゅうとうこうのうさら有功ゆうこうのう强大きょうだいてき爬虫管理かんりけい统feaplat为其提供ていきょう方便ほうべんてき部署ぶしょ及调

License

Notifications You must be signed in to change notification settings

Boris-code/feapder

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

FEAPDER

Downloads Downloads Downloads

简介

  1. feapderいち上手じょうず简单,こうのう强大きょうだいてきPython爬虫かまちないおけAirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。
  2. 支持しじだんてん续爬、监控报警、浏览渲染、うみりょうすうすえじゅうとうこうのう
  3. さら有功ゆうこうのう强大きょうだいてき爬虫管理かんりけい统feaplat为其提供ていきょう方便ほうべんてき部署ぶしょ及调

读音: [ˈfiːpdə]

feapder

ぶん档地

环境要求ようきゅう

  • Python 3.6.0+
  • Works on Linux, Windows, macOS

あんそう

From PyPi:

せい简版

pip install feapder

浏览渲染ばん

pip install "feapder[render]"

かんせいばん

pip install "feapder[all]"

三个版本区别:

  1. せい简版:支持しじ浏览渲染、支持しじもと于内そんおも支持しじにゅう库mongo
  2. 浏览渲染ばん支持しじもと于内そんおも支持しじにゅう库mongo
  3. かんせいばん支持しじしょ有功ゆうこうのう

かんせいばん可能かのうかいあんそう错,わかあんそう错,请参考さんこうあんそう问题

しょう试一

创建爬虫

feapder create -s first_spider

创建きさきてき爬虫だい码如

import feapder


class FirstSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    FirstSpider().start()
        

直接ちょくせつ运行,しるし如下:

Thread-2|2021-02-09 14:55:11,373|request.py|get_response|line:283|DEBUG|
                -------------- FirstSpider.parse request for ----------------
                url  = https://www.baidu.com
                method = GET
                body = {'timeout': 22, 'stream': True, 'verify': False, 'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36'}}

<Response [200]>
Thread-2|2021-02-09 14:55:11,610|parser_control.py|run|line:415|DEBUG| parser とうまちにん务...
FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务,爬虫结束

だい码解释如

  1. start_requests: なま产任务
  2. parse: 解析かいせきすうすえ

参与さんよ贡献

贡献ぜん请先阅读 贡献指南しなん

かん所有しょゆう做过贡献てきじん!

爬虫工具こうぐ推荐

  1. 爬虫ざい线工库:http://www.spidertools.cn
  2. 爬虫管理かんりけい统:http://feapder.com/#/feapder_platform/feaplat
  3. 验证码识别库:https://github.com/sml2h3/ddddocr

ほろしん赞赏

如果您觉とく这个项目帮助いたりょう您,您可以帮作者さくしゃ买一杯咖啡表示鼓励 🍹

也可作者さくしゃ交个朋友ほうゆうかい决您ざい使用しよう过程ちゅうぐういたてき问题

赞赏码

がく交流こうりゅう

识星だま:17321694 作者さくしゃほろしん: boris_tm QQぐんごう:521494615

こうとも备注:feapder

About

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapderいち上手じょうず简单,こうのう强大きょうだいてきPython爬虫かまちうちおけAirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持しじだんてん续爬、监控报警、浏览渲染、うみりょうすうすえじゅうとうこうのうさら有功ゆうこうのう强大きょうだいてき爬虫管理かんりけい统feaplat为其提供ていきょう方便ほうべんてき部署ぶしょ及调

Topics

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages