GECCO 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
GECCO 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: MIT
开发语言: Java
操作系统: 跨平台
收录时间: 2016-02-19
提 交 者: xtuhcy

Gecco是什么

Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架,让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性,框架基于开闭原则进行设计,对修改关闭、对扩展开放。同时Gecco基于十分开放的MIT开源协议,无论你是使用者还是希望共同完善Gecco的开发者,欢迎pull request。如果你喜欢这款爬虫框架请star 或者 fork!

参考手册

主要特征

  •  简单易用,使用jquery风格的选择器抽取元素

  •  支持页面中的异步ajax请求

  •  支持页面中的javascript变量抽取

  •  利用Redis实现分布式抓取,参考gecco-redis

  •  支持结合Spring开发业务逻辑,参考gecco-spring

  •  支持htmlunit扩展,参考gecco-htmlunit

  •  支持插件扩展机制

  •  支持下载时UserAgent随机选取

  •  支持下载代理服务器随机选取

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

GECCO 的相关博客

java爬虫gecco的稳定性测试

最近对开源的java爬虫Gecco做了一个稳定性测试,测试环境:一台爬虫+web应用服务器,一台mongodb服务器。服务器配置很low,两...

java爬虫gecco支持htmlunit

java爬虫gecco发布了1.0.5版本,增加了对htmlunit的支持。htmlunit是一款开源的java 页面分析工具,读取页面后,可以有效的使...

java爬虫gecco监控来了,不再裸奔

#java爬虫gecco监控来了,不再裸奔 ##爬虫为什么要监控 [gecco](https://github.com/xtuhcy/gecco)是一个十分简单易用的java开...

GECCO(易用的轻量化的网络爬虫)

现在开发应用已经离不开爬虫,网络信息浩如烟海,对互联网的信息加以利用是如今所有应用程序都必须要掌握的技术。了解过现在的...

Gecco爬虫框架的线程和队列模型

爬虫在抓取一个页面后一般有两个任务,一个是解析页面内容,一个是将需要继续抓取的url放入队列继续抓取。因此,当爬取的网页...

Gecco框架典型案例—闲逛APP

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的sta...

教您使用java爬虫gecco抓取JD全部商品信息(一)

如果对gecco还没有了解可以参看一下gecco的github首页,https://github.com/xtuhcy/gecco。gecco爬虫十分的简单易用,JD全部商...

教您使用java爬虫gecco抓取JD全部商品信息(三)

商品列表页抓取完成后,需要抓取每个商品的信息信息了

教您使用java爬虫gecco抓取JD全部商品信息(二)

上一篇进行了JD所有商品的分类信息的抓取,这一篇讲解商品列表信息的抓取

Java 从零开始学爬虫(gecco)

废话: 第一次学习并尝试分析、爬取一个网站的数据,全部是从零开始的经验,希望对各位看官有帮助,当然,本次爬取的是一个比...

GECCO 的相关问答

还没有任何问答,马上提问

评论 (22)

加载中
xtuhcy软件作者

引用来自“进击de山寨王”的评论

Xpath什么时候支持啊?cssPath加下标方式不太爽
一直是想弄xpath,最近太懒
2019/05/24 14:37
回复
举报
xtuhcy软件作者
打分: 力荐
java语言中难得的简单易用爬虫框架
2017/10/19 11:58
回复
举报
有好多东西是可以改进的,比如 (1) 响应200的,添加断言是否success (2) href 使用了click 属性目前只能在线程内处理,可以放到全局的schedule或者可配置,在实际使用中一般配置一个第一页的url和一个下一页的href进行click (3) 下载和断言异常的处理 (4) URL末尾是否有斜杠的匹配问题 (5) 注解不太全 ,比如RequestUrl ResponseBody (6) Dynamic 的list属性实际生成的是数组
2017/09/07 16:12
回复
举报
打分: 力荐
Xpath什么时候支持啊?cssPath加下标方式不太爽
2017/01/09 17:57
回复
举报
xtuhcy软件作者
1.0.5版本发布,支持htmlunit #GECCO#
2016/03/07 10:52
回复
举报
xtuhcy软件作者
java爬虫gecco上国内开源本周热门了 #GECCO#
2016/03/10 09:28
回复
举报
好东西值得学习 #GECCO#
2016/03/10 09:52
回复
举报
xtuhcy软件作者
1.0.6版本发布,增加了downloader的灵活配置,每个@Gecco都可以配置downloader #GECCO#
2016/03/15 14:49
回复
举报
xtuhcy软件作者
1.0.7发布,java爬虫gecco监控来了,不再裸奔 #GECCO#
2016/03/21 11:00
回复
举报
xtuhcy软件作者
qq群:531949844。欢迎一起讨论交流~ #GECCO#
2016/03/28 10:00
回复
举报
更多评论
22 评论
297 收藏
分享
返回顶部
顶部