ProxyPool 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
ProxyPool 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
ProxyPool 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
ProxyPool 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
ProxyPool 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

采集免费的代理资源为爬虫提供有效的代理

1、代理池设计

代理池由四部分组成:

  • Getter:

    代理获取接口,目前有6个免费代理源,每调用一次就会抓取这个6个网站最新的100个代理放入Channel,可自行添加额外的代理获取接口;

  • Channel:

    临时存放采集来的代理,通过访问稳定的网站去验证代理的有效性,有效则并存入数据库;

  • Schedule:

    用定时的计划任务去检测数据库中代理IP的可用性,删除不可用的代理。同时也会主动通过Getter去获取最新代理;

  • Api:

    代理池的访问接口,提供get接口输出JSON,方便爬虫直接使用。

2、代码实现

  • Api:

    api接口相关代码,提供get接口,输出JSON;

  • Storage:

    数据库相关代码,数据库采用Mongo;

  • Getter:

    代理获取的相关代码,目前抓取:快代理代理66IP181有代理西刺代理guobanjia这个六个网站的免费代理,经测试这些网站每天更新的可用代理只有六七十个,当然也支持自己扩展代理接口;

  • Schedule:

    定时任务,目前在main.go中以轮询方式实现,后期会改进;

  • Util:

    存放一些公共的模块、方法或函数,包含Config:读取配置文件config.json;

  • 其他文件:

    配置文件:config.json,数据库配置和代理获取接口配置;

{
    "mongo": {
        "addr": "mongodb://127.0.0.1:27017/",
        "db": "temp",
        "table": "pool",
        "event": "event"
    },
    "host": ":8080"
}

3、安装及使用

下载代码:

go get -u github.com/henson/ProxyPool

配置好相应的config.json并启动:

go build

./ProxyPool

使用:

访问:http://localhost:8080/v1/ip

HTTP

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
打分: 力荐
hi,各位go语言爱好者 Beego axtaxie谢大和好雨云社区一起推出了beego开发者大赛,使用Beego框架进行开发,作品种类、大小、形式不限,可以尽情发挥你天马行空的想象力,还有各种礼品等你来拿,期待大家踊跃参赛,https://t.goodrain.com/t/beego/297
2017/04/20 10:44
回复
举报
支持
2017/04/18 22:52
回复
举报
好东西,自己一直想搞个,腾不出时间
2017/03/31 16:13
回复
举报
Henson软件作者
打分: 力荐
请大家支持
2017/03/31 12:23
回复
举报
打分: 力荐
这个可以有,自己一直想搞个,一直没有腾出手。赞!
2017/03/31 10:03
回复
举报
更多评论
暂无内容
发表了博客
2019/07/23 13:28

ProxyPool 代理

ProxyPool:https://github.com/yucaifuyoyo/ProxyPool github上一个开源项目的proxypool添加一些免费代理IP网站 1.https://www.kuaidaili.com/free/inha/1/ # 快代理 2.http://www.xicidaili.com/wt/1 # 西刺免费代理IP 3.http://www.66ip.cn/1.html # 66免费代理网 4.http://www.data5u.com/ # 无忧代理 5.http://31f.cn/ # 三一代理 6.https://www.freeip.top/?...

0
0
发表了博客
2020/07/10 14:31

GitHub: ProxyPool 爬虫代理IP池

# GitHub: ProxyPool 爬虫代理IP池 hello,小伙伴们,大家好,今天给大家分享的开源项目是:`proxy_pool`,这个开源项目是抓取个大免费代理IP网站,感兴趣的爬虫可以尝试把代码`clone`下载然后尝试应用一下,加油!!! ``` ______ ______ _ | ___ \_ | ___ \ | | | |_/ / \__ __ __ _ __ _ | |_/ /___ ___ | | | __/| _// _ \ \ \/ /| | | || __// _ \ / _ \ | | | | | | | (_) | > < \ |_| || | | (_) | (_) || |___ \_| |_| \...

0
0
发表了博客
2020/07/11 14:28

GitHub: ProxyPool 爬虫代理IP池

hello,小伙伴们,大家好,今天给大家分享的开源项目是:proxy_pool,这个开源项目是抓取个大免费代理IP网站,感兴趣的爬虫可以尝试把代码clone下载然后尝试应用一下,加油!!! ______ ______ _ | ___ \_ | ___ \ | | | |_/ / \__ __ __ _ __ _ | |_/ /___ ___ | | | __/| _// _ \ \ \/ /| | | || __// _ \ / _ \ | | | | | | | (_) | > < ...

0
0
发表了博客
2019/08/28 16:46

1-代理池(ProxyPool)-Redis+Flask维护动态代理池

1、分析 (1)为什么使用代理池? 许多网站上有专门的反爬虫措施,可能遇到封IP等问题 互联网上公开了大量免费代理,利用好资源 通过定时的检测维护同样可以得到多个可用代理 (2)代理池的需求 多站抓取 异步检测 定时筛选 持续更新 提供接口 易于提取 (3)代理池的框架 2、文件夹中的分布 3、各个代码的内容以及作用 (3-1)README.md # ProxyPool此代理池在获取IP的时候使用了pop方法一次性使用,如果是想多次可用可以移步优...

0
0
发表了博客
2020/03/11 13:47

python爬虫之ProxyPool(代理ip地址池的构建)

ProxyPool 安装 安装Python 至少Python3.5以上 安装Redis 安装好之后将Redis服务开启 Redis环境安装(分布式爬虫数据存储) https://blog.csdn.net/jia666666/article/details/82216937 配置代理池 cd proxypool 进入proxypool目录,修改settings.py文件 PASSWORD为Redis密码,如果为空,则设置为None 安装依赖 pip3 install -r requirements.txt 必要操作!!! 在维护代理池时,发现错误两处,运行之前请更改 修改位置为db.py...

0
0
发表了博客
2018/11/14 16:45

使用 flask和redis维护 代理池

https://github.com/germey/proxypool 该模块 使用是 直接 在 ubuntu上部署 安装 需要 python大于3.5.2使用aiohttp root@iZ2ze88rg4xz5qs8lcjjd4Z:~# which pip3.6 root@iZ2ze88rg4xz5qs8lcjjd4Z:~# ln -s /usr/local/python3.6/bin/pip3.6 /usr/bin/pip3.6 root@iZ2ze88rg4xz5qs8lcjjd4Z:~# which pip3.6 /usr/bin/pip3.6 上面是创建 安装好的pip的链接 1.下载 cd mkdir code git init git clone https://github.com/germey/p...

0
0
发表于信息安全专区
2020/09/29 08:33

工具|隐藏IP|随机代理GUI版

JCRandomProxy【随机代理】Gui版 Author: JC0o0l Wechat: JC_SecNotes Github:https://github.com/chroblert/jcrandomproxy.git 这是一款随机代理工具,之前发布了一款命令行版的,这个是GUI版,操作起来更方便一些。 项目地址在https://github.com/chroblert/jcrandomproxy.git GUI版在GUIVersion分支 命令行版在master分支 0x01 功能 http代理 https代理 定时代理校验 随机代理 0x02 更新 GUI版发布 - 20200928 0x03 TODO...

0
0
发表了博客
2020/10/01 13:34

工具|隐藏IP|随机代理GUI版

JCRandomProxy【随机代理】Gui版 Author: JC0o0l Wechat: JC_SecNotes Github:https://github.com/chroblert/jcrandomproxy.git 这是一款随机代理工具,之前发布了一款命令行版的,这个是GUI版,操作起来更方便一些。 项目地址在https://github.com/chroblert/jcrandomproxy.git GUI版在GUIVersion分支 命令行版在master分支 0x01 功能 http代理 https代理 定时代理校验 随机代理 0x02 更新 GUI版发布 - 20200928 0x03 TODO...

0
0
发表了博客
2020/08/24 23:29

一款随机代理小工具

### 0x01 描述 平时开扫描器或者使用sqlmap,有的站点使用的waf或者防火墙规则会将请求流量过多的IP ban掉,而手动切换代理又比较慢,因而写了这个使用随机代理的小工具。http代理还是比较简单的,https代理总是出现一些问题,还需要研究研究… 这次采用golang而不是python进行开发,实在是喜欢上它的跨平台了,编译后也不用像python那样安装许多模块 项目地址:[https://github.com/Chroblert/JCRandomProxy](https://github.c...

0
0
发表了博客
2018/08/17 20:30

使用redis+flask维护动态代理池

在进行网络爬虫时,会经常有封ip的现象。可以使用代理池来进行代理ip的处理。 代理池的要求:多站抓取,异步检测。定时筛选,持续更新。提供接口,易于提取。 代理池架构:获取器,过滤器,代理队列,定时检测。 使用https://github.com/Germey/ProxyPool/tree/master/proxypool代码进行分析。 run.py里面的代码 from proxypool.api import app from proxypool.schedule import Schedule def main(): s = Schedule(...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
5 评论
194 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部