(Translated by https://www.hiragana.jp/)
GitHub - bigrats/IpProxyPool: Golang 实现的 IP 代理池, 涉及到的技术点: go gorm proxy proxypool ip crawler 爬虫 mysql viper cobra
Skip to content

Golang 实现てき IP 代理だいり, わたる及到てきわざ术点: go gorm proxy proxypool ip crawler 爬虫 mysql viper cobra

License

Notifications You must be signed in to change notification settings

bigrats/IpProxyPool

 
 

Repository files navigation

Golang实现てきIP代理だいり

さいしゅうめん费的代理だいり资源为爬ちゅう提供ていきょう有效ゆうこうてきIP代理だいり

けい统功のう

  • 动爬取互联网上こう开的めん代理だいりIP
  • 周期しゅうきせい验证代理だいりIP有效ゆうこうせい
  • 提供ていきょうhttpせっこう获取可用かようIP

けい统架构

architecture image

代理だいり设计

代理だいりいけゆかりよん部分ぶぶん组成:

  • Fetcher:

代理だいり获取せっこう目前もくぜんゆう几个 めん代理だいりげんまい调用一次就会抓取这些网站最新的代理放入Channel,くだり 添加てんか额外てき代理だいり获取せっこう

  • Channel:

临时そんさいしゅうらいてき代理だいりつう过访问稳じょうてき网站去验证代理だいりてき有效ゆうこうせい有效ゆうこう则存いれすうすえ

  • Schedule:

もちいてい时的计划にん务去检测すうすえ库中代理だいりIPてき可用性かようせい,删除不可ふかようてき代理だいりどう时也かいしゅ动通过 Fetcher 获取最新さいしん代理だいり

  • Api:

代理だいりてき访问せっこう提供ていきょう get せっこう输出 JSON方便ほうべん爬虫直接ちょくせつ使用しよう

目前もくぜん支持しじてき代理だいり

代理だいり获取せっこう目前もくぜんつめ这几个网站的 めん代理だいり当然とうぜん支持しじ自己じこ扩展代理だいりせっこう

あんそう使用しよう

みなもと码安そう

# かつたかし项目
git clone https://github.com/wuchunfu/IpProxyPool.git

# きり换项
cd IpProxyPool

# おさむあらためすうすえ库信いき
vi conf/config.yaml

host: 127.0.0.1
dbName: IpProxyPool
username: IpProxyPool
password: IpProxyPool

# 执行 sql 脚本きゃくほん,创建すうすえ库表
source docs/db/mysql.sql

# あんそうgo赖包
go list (go mod tidy)

# 编译
go build IpProxyPool.go

# 赋予执行权限
chmod +x IpProxyPool

# 运行
./IpProxyPool proxy-pool

Docker あんそう

Docker 请自ぎょうあんそうあんそうかん docker きさき查看いやあんそう docker-compose 执行这个命令めいれい查看成功せいこうやすそう docker-compose, docker-compose -version

# かつたかし项目
git clone https://github.com/wuchunfu/IpProxyPool.git

# 进入项目
cd IpProxyPool

# 执行以下いか命令めいれい启动
docker-compose -f docker-compose.yaml up -d

# 执行以下いか命令めいれい停止ていし
docker-compose -f docker-compose.yaml down

访问

# web 访问
http://127.0.0.1:3000

# or
# ずいつくえ输出可用かようてき代理だいり
curl http://127.0.0.1:3000/all

# ずいつくえ输出HTTP代理だいり
curl http://127.0.0.1:3000/http

# ずいつくえ输出HTTPS代理だいり
curl http://127.0.0.1:3000/https

计划にん

诚挚てきかん

  • くびさきかん谢您てき使用しよう,如果觉得ほどじょ还不错也のう帮助您解决实际问题,さまたげ添个赞以励本じん继续努力どりょく,谢谢!
  • 如果您对ほどじょゆうにんなんけん议和见,也欢むかえつつみ交issue。
  • 当然とうぜん,如果您愿贡献だい码和わが一起改进本程序,さいこう过了。

注意ちゅうい

本代ほんだい码库仅用于学习研究けんきゅう使用しよう,请勿よう于非ほう用途ようと本人ほんにん不承ぶしょう担由此带らいてきにんなん法律ほうりつ问题。

交流こうりゅう

欢迎关注 ぜん栈公园ゆう什么问题以在 ぜん栈公园 おおやけ众号输入 开源交流こうりゅう 进行咨询

全栈公园

About

Golang 实现てき IP 代理だいり, わたる及到てきわざ术点: go gorm proxy proxypool ip crawler 爬虫 mysql viper cobra

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Go 94.0%
  • Makefile 3.1%
  • Dockerfile 2.5%
  • Shell 0.4%