之前一直尝试收集某些特定名称url下的内容,比如http://www.amazon.com/Harry-Potter-...
为此甚至想到把google的搜索结果加到wget后面之类的土办法:
但后来发现google会阻止类似的操作。
所以请教一下有何解决办法,当然不一定用wget,有其他爬虫类的软件可以实现类似功能也行。
之前一直尝试收集某些特定名称url下的内容,比如http://www.amazon.com/Harry-Potter-...
为此甚至想到把google的搜索结果加到wget后面之类的土办法:
但后来发现google会阻止类似的操作。
所以请教一下有何解决办法,当然不一定用wget,有其他爬虫类的软件可以实现类似功能也行。