执行耗时的web程序是不是得命令行呢

hphper 发布于 2015/10/30 22:20
阅读 178
收藏 0
用php做爬虫,爬取和入库操作很耗时,是不是该不经过web容器,直接cli方式运行程序呢,有什么好的解决方案没呢,求啊
加载中
1
景愿
景愿
启动多线程来爬啊!!!
hphper
hphper
咋多线程?
0
hphper
hphper
怎么多线程?php的
0
eechen
eechen
PHP-FPM是多进程的应用,一个curl或者file_get_contents可能会造成不确定的网络I/O耗时,这样会导致PHP-FPM工作进程被阻塞,无法处理其他请求.所以最好还是在CLI下写PHP爬虫,DOM操作库可以用Simple HTML DOM,多线程扩展可以用pthreads:
http://pecl.php.net/package/pthreads
http://pthreads.org/tutorials/start.html
hphper
hphper
返回顶部
顶部