采 集 免 费的代理 资源为爬虫 提供 有效 的 IP代理
自 动爬取互联网上公 开的免 费代理 IP周期 性 验证代理 IP有效 性 提供 http接 口 获取可用 IP
- Fetcher:
- Channel:
临时
- Schedule:
- Api:
get
JSON
,
# 克 隆 项目
git clone https://github.com/wuchunfu/IpProxyPool.git
# 切 换项目 目 录
cd IpProxyPool
# 修 改 数 据 库信息
vi conf/config.yaml
host: 127.0.0.1
dbName: IpProxyPool
username: IpProxyPool
password: IpProxyPool
# 执行 sql 脚本 ,创建数 据 库表
source docs/db/mysql.sql
# 安 装 go依 赖包
go list (go mod tidy)
# 编译
go build IpProxyPool.go
# 赋予可 执行权限
chmod +x IpProxyPool
# 运行
./IpProxyPool proxy-pool
Docker
请自行 安 装 ,安 装 完 docker
后 查看是 否 安 装 docker-compose
执行这个命令 查看是 否 成功 安 装 docker-compose
,docker-compose -version
# 克 隆 项目
git clone https://github.com/wuchunfu/IpProxyPool.git
# 进入项目目 录
cd IpProxyPool
# 执行以下 命令 启动
docker-compose -f docker-compose.yaml up -d
# 执行以下 命令 停止
docker-compose -f docker-compose.yaml down
# web 访问
http://127.0.0.1:3000
# or
# 随 机 输出可用 的 代理
curl http://127.0.0.1:3000/all
# 随 机 输出HTTP代理
curl http://127.0.0.1:3000/http
# 随 机 输出HTTPS代理
curl http://127.0.0.1:3000/https
首 先 感 谢您的 使用 ,如果觉得程 序 还不错也能 帮助您解决实际问题,不 妨 添个赞以鼓 励本人 继续努力 ,谢谢!- 如果您对
程 序 有 任 何 建 议和意 见,也欢迎 提 交issue。 当然 ,如果您愿意 贡献代 码和我 一起改进本程序,那 再 好 不 过了。
欢迎关注