PHP
大概的需求是 需要用PHP实现爬虫 之前的做法是 开很多台机器来爬
我想可否用一台机器来实现 比如 nohup 多挂起几个进程 来跑是否可行
如果一台机器开多个进程跑 瓶颈是哪?
代码就是curl一下 某个站点
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
大概的需求是 需要用PHP实现爬虫 之前的做法是 开很多台机器来爬
我想可否用一台机器来实现 比如 nohup 多挂起几个进程 来跑是否可行
如果一台机器开多个进程跑 瓶颈是哪?
代码就是curl一下 某个站点
可行。几个进程无所谓啦，瓶颈是 抓取频率。吧会不会被ban。使用代理
可以试试swool扩展看看
https://github.com/kiddyuchina/Beanbun 直接给你一个现成的，基于workerman实现的