webmagic与curl命令的区别

zgw06629 发布于 2014/10/22 12:15
阅读 195
收藏 0
使用webmagic抓取某个网站时,若没有设置User-Agent, 会返回空(仍是200)。但我在终端直接执行curl http://some.site.com 却可以正常返回内容。 但是curl中也没有显式指定user agent,为什么curl就可以呢?   
加载中
0
zgw06629
zgw06629

curl -v http://some.site.com

> User-Agent: curl/7.35.0

原来curl隐式指定了user agent

返回顶部
顶部