JFinal+JSoup 开发的爬虫 jfinal_jsoup_meinvtu

MIT
Java 查看源码»
跨平台
2019-06-12
山东-小木

去年,做了几个JFinal项目,大量使用了Java爬虫去全网抓取数据,清洗筛选后入库,成为本地结构化数据。

Java中JSOUP做HTML解析是最好的工具,没有之一。

之前听过一句话,大体意思就是

我们所能访问的网页本身就是一个数据宝藏,天然的对外数据接口。

只要我们能拿到网页的Html代码,就可以拿到网站的公开数据。

利用JSoup针对直接加载显示数据的网页,也可以轻松拿到Html代码,后面的操作类似JQuery的API,有这类似的DOM操作形式。

还可以扩展爬虫的能力,分布式,多线程,异步,定时任务执行,总之,了解和核心使用方法,剩下的都是怎么玩儿的事儿了!

项目视频演示地址:

https://www.bilibili.com/video/av54760586

项目截图:

1、首页

首页

2、启动爬虫,雷达扫描

雷达扫描

3、添加明星

添加

4、相册主页

相册

5、相册里的照片

照片列表

6、幻灯片播放

幻灯片播放

7、大图单页

大图单页

代码使用技术

  • JFinal
  • JFinal Undertow
  • Bootstrap
  • JQuery
  • Layer
  • JSoup
  • Mysql
  • Jbolt
的码云指数为
超过 的项目
加载中

评论(1)

l
liushengOS
界面不错

暂无资讯

暂无问答

JFinal-美女图爬虫-一个不正经的爬虫代码

去年我做了一个项目,大量使用爬虫抓取数据,使用JFinal+JSoup组合,抓取数据,数据清洗筛选,最终保存到数据库里,结构化。 今天,我发布一个不正经的爬虫项目,如果你对JSoup做爬虫感兴趣,...

03/16 23:24
147
0
JFinal爬虫-Jsoup是最好的 Java HTML 解析器,没有之一

去年,做了几个JFinal项目,大量使用了Java爬虫去全网抓取数据,清洗筛选后入库,成为本地结构化数据。 Java中JSOUP做HTML解析是最好的工具,没有之一。 之前听过一句话,大体意思就是 我们所...

07/01 02:23
114
0
基于jfinal的XssHandler,统一处理xss脚本攻击

前天公司的网站在《360安全检测》上发现了大量xss漏洞。好吧,我立马懂了,除了我做得有几个模块过滤了之外,别的几乎100%存在! 对于这个东西怎么解决呢?狠是纠结了一番,一个个去改contr...

2015/08/10 11:17
1K
1
修改Jfinal源码完成类似Hibernate的catalog功能

前段时间在社区里面问了这样一个问题:http://www.oschina.net/question/77562_135316 ,想使用一个数据源来完成类似hibernate的catalog的功能,小伙伴儿们的回答很多,我觉得很好,但是我还...

2013/12/01 19:10
269
0
学JFinal不迷路,JFinal优质资源列表(欢迎反馈更新)

学JFinal不迷路,记录一下JFinal相关的资源、产品、讲师等信息(所有信息排名不分先后)。 一、相关站点: 1、JFinal官网-问答、分享、文档、交流、俱乐部 http://www.jfinal.com 2 、JFina...

05/25 19:25
430
0
jfinal-lesscss使用java实现lesscss的动态编译

jfinal-coffeescript使用java实现coffeescript的动态编译,带有jfinal plugin

2014/09/12 12:21
90
0
jfinal-coffeescript使用java实现coffeescript的动态编译

jfinal-coffeescript使用java实现coffeescript的动态编译,带有jfinal plugin

2014/09/12 12:16
77
0
jfinal-shiro-freemarker实现shiro在freemarker页面的标签过滤

jfinal-shiro-freemarker实现shiro在freemarker页面的标签过滤,用于动态屏蔽页面的部分内容

2014/09/12 11:59
630
1
jfinal-sqlinxml 类似ibatis的sql语句存在xml文件里

jfinal-sqlinxml 类似ibatis的sql语句存在xml文件里

2014/09/12 13:47
239
0
jfinal-quartz 使用jfinal启动quartz执行定时任务

jfinal-quartz 使用jfinal启动quartz执行定时任务,大家尽可能关注(Follow)我的github(https://github.com/Dreampie),好及时得到插件的更新信息...

2014/09/12 13:26
1K
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部