Colal10

Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。 依赖 首先,确保Python版本为2.6或者2.7(未来会支持3+)。由于Cola配置文件使用的yaml,所以Cola只依赖于pyyaml,安装easy_install或者pip工具后,则可以: pip install pyyaml 安装 下载或者用git clone源码,假设在目录/to/pth/cola,将该路径添加到Python path中。 一种简单的...

相关文章

加载中

暂无相关内容

返回顶部
顶部