如何设计爬虫代理机制？

happylifelx 发布于 2014/09/27 12:02

阅读 2K+

Java

目标是抓取几十个网站，但其中只有少数网站的某些域名下会有反爬机制，试着用代理访问，相比不用代理访问速度明显较慢，而且IP质量有的很不好，觉得要是本来不用代理的也加代理的话也没必要，但是想让自己的爬虫不被封，还尽可能的有效率，有什么好方法吗，大家都用什么机制？IP质量难以保证怎么弄啊

加载中

全站热门评论

z-zg 2024-09-18 21:14

现在与es的区别大吗?

kushu001 2024-08-14 15:24

为什么一定要强调“国产”？是开源的项目么？如果开源，是不是不接受国外开发者的贡献？我只是好奇，不带“国产”，是宣传不了了么😀

osc_566335 2024-08-05 10:48

os是媾粉聚集地还不了解吗？只要碰到国产、华子相关报道，必然评论区乌烟瘴气口伏声难止。还能期待啥有深度发言？大佬敢发这些，那还给搞前端什么都懂的“程序员”粪死？

烈冰 2024-07-22 08:41

不如说国内90%的电脑都没安装CrowdStrike软件

osc_50722289 2024-09-06 13:51

如果苹果不让步，微信也不让步那就好看了！微信在中国深入寻常百姓家！支付社交微信根本离不开，如果微信不在IOS上更新，苹果“不用混了”

279778325 2024-08-16 16:22

好不容易有个国产开发平台，没有鼓励只有贬低，就算宣传夸大怎么了？那么较真干什么？遍地都是夸大的广告宣传怎么不一个一个去找厂家？批判的同时想想自己能搞一个吗？为什么加上国产俩字就非要这么较真？

zb79463626 2024-08-26 15:51

IBM中国哪有什么研发? 全部都是测试！所谓的搞研发的都是去养老混日子的！

平波 2024-07-07 16:54

吃完就砸锅，好像那个啥纯血，吃完了，就想把小米，oppo、vivo的锅咂了；😂

小而美软件开发 2024-09-19 06:40

挺会耍流氓的啊

-SORA- 2024-09-18 20:46

你是哪个倒霉公司的，我替你同情一下它吧🤪

智布道 2024-08-13 12:02

不管是谁在打平安县城，我三五八团一定帮帮场子！

HalLi 2024-09-09 01:10

普通用户不懂就算了，怎么连程序员都不懂？苹果是全平台30%，国产是渠道服50%。微信、抖音这种大app哪来的渠道服，除了游戏，哪个app带渠道服。

0day 2024-07-21 11:52

一个流氓也配谈安全？

平波 2024-09-18 20:46

我写的东西，他们都看不懂，哈哈；所以他们没法毕业我，你就不一样了，CRUD的活，谁都可以干，要小心啊

infoworld 2024-09-11 18:00

感谢，正是有你们这些先驱做的实事，才能避免被国外的系统和应用垄断。

Yanlongli 2024-07-11 17:28

降低了视觉复杂性，增高了操作复杂性。

Azeroth008 2024-07-09 10:43

有自研操作系统挺好的啊，那些乱喷的人是什么心态？

寻梦 2024-09-18 22:35

着实大开眼界

Artrener 2024-07-21 15:12

可以看他不爽，看360不爽，但人家说的是事实。比如说航空业的业内人士也这么说的。

平波 2024-09-18 20:35

就你那思维能力，写CRUD，都是漏洞百出的；🤣

Kevin586 2024-07-29 17:09

真降低成本还是得换go，java太吃内存了

优秀良民 2024-07-10 16:17

明明能躺平，明明可以割韭菜，还花钱研发？为了找骂？说这个能割韭菜？你被割了？你买了吗？是谁年年换mac，是谁年年换iphone？华为的用户好像没有那么干的吧？真让我一个小米用户都看不下去了！

小而美软件开发 2024-09-19 06:38

这不是道德绑架吗

Binx 2024-09-07 08:28

最好提高苹果税到80%，不然怎么彰显尊贵的苹果用户身份

-SORA- 2024-09-18 20:59

啊波波，是波波！有华为的地方，一定有傻波波！😁

-SORA- 2024-09-18 21:04

出现了，野生的波波！只要有华为，就会有波波😏

-SORA- 2024-09-18 20:37

你应该好好补习初中哈，不要整天想这些不属于你的东西哈😁

平波 2024-09-18 20:43

你是哪个垃圾公司的，我防范一下🤣

songdragon 2024-08-14 13:11

这个对比的条件还存在好几个问题。 1. solon使用的是smart-http，spring使用的是undertow 2. solon启动本身的自动配置少于spring 这两点就决定了对比的维度不同，性能更好的原因大概率是web服务器、应用配置依赖导致的。如果要拉齐，需要使用同样的web服务器，spring应用排除掉所有的自动配置，只保留web必须的，才能说明框架的性能差距。现在这个结果，无法说明solon本身性能好。