网站代理工具 http-proxy-pool

Apache
Google Go
跨平台
2020-01-19
粘土帽子

http-proxy-pool 是一个流量代理工具。

对于代理地址,期望是越多越好,但是对于代理质量有着更高的要求,宁缺勿滥,因此proxy-pool不再将抓取到的代理地址保存至数据库,而调整为定期从免费代理网站下抓取代理地址,使用该地址去测试其可用性(默认配置为访问baidu),测试可用则添加至可用代理地址列表中,如此循环一直抓取新的地址,一直校验。对于已校验可用的代理地址,也定期重新校验是否可用,默认校验间隔为30分钟。

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Ng Health check Example

nginx相信大家都不陌生,但是你是否考虑过服务器重启瞬间的404,以及单点机器故障排除的问题?

2016/04/22 10:04
38
1
聊聊jdk httpclient的ConnectionPool

序 本文主要研究一下jdk httpclient的ConnectionPool HttpConnection HttpConnection.getConnection java.net.http/jdk/internal/net/http/HttpConnection.java /** * Factory for retrievi...

2018/10/03 10:21
51
0
Nginx服务器配置

Nginx服务器配置主要参数 worker_processes 16; worker_cpu_affinity 0000000000000001 0000000000000010 0000000000000100 0000000000001000 0000000000010000 0000000000100000 000000000...

2012/06/26 17:09
188
0
lnmp基本使用2

0、nginx代理 反向代理的代码如下: proxy_pass http://172.96.16.245; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forw......

2018/07/02 22:10
70
0
api网关相关配置

什么是api网关 通常WEB API网关是系统的唯一入口,它封装了系统内部架构,为客户端统一提供服务。 相关的服务 kong : https://docs.konghq.com orange: http://orange.sumory.com 参考:http:...

2019/06/19 15:13
30
0
聊聊spring cloud gateway的NettyConfiguration

## 序 本文主要研究下spring cloud gateway的NettyConfiguration ## NettyConfiguration ``` @Configuration @ConditionalOnProperty(name = "spring.cloud.gateway.enabled", matchIfMissin...

2018/06/03 19:48
780
0
使用Redis+Flask维护动态代理池

目标 爬虫中经常遇到被封杀IP的情况,最有效的方式就是使用代理IP。我们可以在一些平台上购买代理IP,但是价格比较昂贵。另外很多IP代理网站也提供了一些免费的代理IP,可以爬取下这些代理IP,并...

2018/11/28 22:34
439
0
nginx负载均衡配置

#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; pid /var/run/n...

2015/04/25 14:50
76
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部