HtmlExtractor 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
HtmlExtractor 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
HtmlExtractor 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
HtmlExtractor 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
HtmlExtractor 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。

HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。

如何使用?

HtmlExtractor由2个子项目构成,html-extractor和html-extractor-web。
html-extractor实现了数据抽取逻辑,是从节点,html-extractor-web提供web界面来维护抽取规则,是主节点。
html-extractor是一个jar包,可通过maven引用:
<dependency>
    <groupId>org.apdplat</groupId>
    <artifactId>html-extractor</artifactId>
    <version>1.1</version>
</dependency>
html-extractor-web是一个war包,需要部署到Servlet/Jsp容器上。
在html-extractor-web目录下运行mvn jetty:run就可以启动Servlet/Jsp容器jetty,之后打开浏览器访问:
http://localhost:8080/html-extractor-web/api/ 查看自己定义的规则。

注意:页面模板中定义的所有CSS路径和抽取表达式全部抽取成功,才算抽取成功,
     只要有一个CSS路径或抽取表达式失败,就是抽取失败。

单机集中式使用方法:

//1、构造抽取规则
List<UrlPattern> urlPatterns = new ArrayList<>();
//1.1、构造URL模式
UrlPattern urlPattern = new UrlPattern();
urlPattern.setUrlPattern("http://money.163.com/\\d{2}/\\d{4}/\\d{2}/[0-9A-Z]{16}.html");
//1.2、构造HTML模板
HtmlTemplate htmlTemplate = new HtmlTemplate();
htmlTemplate.setTemplateName("网易财经频道");
htmlTemplate.setTableName("finance");
//1.3、将URL模式和HTML模板建立关联
urlPattern.addHtmlTemplate(htmlTemplate);
//1.4、构造CSS路径
CssPath cssPath = new CssPath();
cssPath.setCssPath("h1");
cssPath.setFieldName("title");
cssPath.setFieldDescription("标题");
//1.5、将CSS路径和模板建立关联
htmlTemplate.addCssPath(cssPath);
//1.6、构造CSS路径
cssPath = new CssPath();
cssPath.setCssPath("div#endText");
cssPath.setFieldName("content");
cssPath.setFieldDescription("正文");
//1.7、将CSS路径和模板建立关联
htmlTemplate.addCssPath(cssPath);
//可象上面那样构造多个URLURL模式
urlPatterns.add(urlPattern);

//2、获取抽取规则对象
ExtractRegular extractRegular = ExtractRegular.getInstance(urlPatterns);
//注意:可通过如下3个方法动态地改变抽取规则
//extractRegular.addUrlPatterns(urlPatterns);
//extractRegular.addUrlPattern(urlPattern);
//extractRegular.removeUrlPattern(urlPattern.getUrlPattern());

//3、获取HTML抽取工具
HtmlExtractor htmlExtractor = new DefaultHtmlExtractor(extractRegular);

//4、抽取网页
String url = "http://money.163.com/08/1219/16/4THR2TMP002533QK.html";
HtmlFetcher htmlFetcher = new JSoupHtmlFetcher();
String html = htmlFetcher.fetch(url);
List<ExtractResult> extractResults = htmlExtractor.extract(url, html);

//5、输出结果
int i = 1;
for (ExtractResult extractResult : extractResults) {
    System.out.println((i++) + "、网页 " + extractResult.getUrl() + " 的抽取结果");
    if(!extractResult.isSuccess()){
        System.out.println("抽取失败:");
        for(ExtractFailLog extractFailLog : extractResult.getExtractFailLogs()){
            System.out.println("\turl:"+extractFailLog.getUrl());
            System.out.println("\turlPattern:"+extractFailLog.getUrlPattern());
            System.out.println("\ttemplateName:"+extractFailLog.getTemplateName());
            System.out.println("\tfieldName:"+extractFailLog.getFieldName());
            System.out.println("\tfieldDescription:"+extractFailLog.getFieldDescription());
            System.out.println("\tcssPath:"+extractFailLog.getCssPath());
            if(extractFailLog.getExtractExpression()!=null) {
                System.out.println("\textractExpression:" + extractFailLog.getExtractExpression());
            }
        }
        continue;
    }
    Map<String, List<ExtractResultItem>> extractResultItems = extractResult.getExtractResultItems();
    for(String field : extractResultItems.keySet()){
        List<ExtractResultItem> values = extractResultItems.get(field);
        if(values.size() > 1){
            int j=1;
            System.out.println("\t多值字段:"+field);
            for(ExtractResultItem item : values){
                System.out.println("\t\t"+(j++)+"、"+field+" = "+item.getValue());   
            }
        }else{
            System.out.println("\t"+field+" = "+values.get(0).getValue());     
        }
    }
    System.out.println("\tdescription = "+extractResult.getDescription());
    System.out.println("\tkeywords = "+extractResult.getKeywords());
}

多机分布式使用方法:

1、运行主节点,负责维护抽取规则:
方法一:在html-extractor-web目录下运行mvn jetty:run 。
方法二:在html-extractor-web目录下运行mvn install ,
      然后将target/html-extractor-web-1.0.war部署到Tomcat。

2、获取一个HtmlExtractor的实例(从节点),示例代码如下:
String allExtractRegularUrl = "http://localhost:8080/HtmlExtractorServer/api/all_extract_regular.jsp";
String redisHost = "localhost";
int redisPort = 6379;
ExtractRegular extractRegular = ExtractRegular.getInstance(allExtractRegularUrl, redisHost, redisPort);
HtmlExtractor htmlExtractor = new DefaultHtmlExtractor(extractRegular);

3、抽取信息,示例代码如下:
String url = "http://money.163.com/08/1219/16/4THR2TMP002533QK.html";
HtmlFetcher htmlFetcher = new JSoupHtmlFetcher();
String html = htmlFetcher.fetch(url);
List<ExtractResult> extractResults = htmlExtractor.extract(url, html);

int i = 1;
for (ExtractResult extractResult : extractResults) {
    System.out.println((i++) + "、网页 " + extractResult.getUrl() + " 的抽取结果");
    if(!extractResult.isSuccess()){
        System.out.println("抽取失败:");
        for(ExtractFailLog extractFailLog : extractResult.getExtractFailLogs()){
            System.out.println("\turl:"+extractFailLog.getUrl());
            System.out.println("\turlPattern:"+extractFailLog.getUrlPattern());
            System.out.println("\ttemplateName:"+extractFailLog.getTemplateName());
            System.out.println("\tfieldName:"+extractFailLog.getFieldName());
            System.out.println("\tfieldDescription:"+extractFailLog.getFieldDescription());
            System.out.println("\tcssPath:"+extractFailLog.getCssPath());
            if(extractFailLog.getExtractExpression()!=null) {
                System.out.println("\textractExpression:" + extractFailLog.getExtractExpression());
            }
        }
        continue;
    }
    for(ExtractResultItem extractResultItem : extractResult.getExtractResultItems()){
        System.out.print("\t"+extractResultItem.getField()+" = "+extractResultItem.getValue());              
    }
    System.out.println("\tdescription = "+extractResult.getDescription());
    System.out.println("\tkeywords = "+extractResult.getKeywords());
}

展开阅读全文

代码

评论 (0)

加载中
更多评论
发表了资讯
2015/04/15 00:00

HtmlExtractor 1.1 发布,网页信息抽取组件

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。 在本次发布的1.1版本中,对API做了更合理的重构,并给出了...

15
85
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2015/04/15 23:09

HtmlExtractor 1.1 发布,网页信息抽取组件

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。 在本次发布的1.1版本中,对API做了更合理的重构,并给出了...

0
0
发表了博客
2015/04/15 23:43

如何使用HtmlExtractor实现基于模板的网页结构化信息精准抽取?

首先,我们新建一个maven工程,在pom.xml中加入HtmlExtractor依赖,如下所示: <dependency>     <groupId>org.apdplat</groupId>     <artifactId>html-extractor</artifactId>     <version>1.1</version> </dependency> 接着,我们加入日志配置文件,在src/main/resources目录下新建日志文件logback.xml,如果想看到更多细节,请将<root level="INFO">改为<root level="DEBUG">,内容如下: <?xml version="1....

3
12
发表于云计算专区
2014/08/30 23:22

Java实现的基于模板的网页结构化信息精准抽取组件:HtmlExtractor

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。 如何使用? HtmlExtractor由2个子项目构成,html-extrac...

3
20
发表于运维专区
2015/04/18 20:49

如何使用Eclipse在Github上开发使用Java8的Maven项目?

1、我们使用的版本是Eclipse4.4.2 for JavaEE Web Developers,支持Java8,安装的JDK需要1.8: 2、我们先点击菜单中的File -> Import...,然后选择Git -> Projects from Git,从Git数据源导入项目: 3、从远程URI加载数据: 4、将项目FORK到自己的GITHUB主页,如何FORK参考这里的入门指南链接,然后从自己的GITHUB账户下检出代码,要将下面的ysc换成你的GITHUB账户名称: 5、选择本地保存路径: 6、选择Import as general proje...

3
26
发表了博客
2015/04/03 05:17

我的ITEYE和OSCHINA博客的异同(截止2015年5月17日)

rank是一个seo工具,用于分析网站的搜索引擎收录排名。 比较我的ITEYE和OSCHINA博客异同的代码来自rank项目:https://github.com/ysc/rank/commit/d8583f9d4c1edd4f871c83b0da2ee18888915a10 oschina和iteye都有(124): 1、11大Java开源中文分词器的使用方法和分词效果对比 oschina iteye 2、1208个合成词 oschina iteye 3、192本软件著作用词分析(五)用词最复杂99级 oschina iteye 4、2000个软件开发领域的高频特殊词及精选例...

2
0
发表了博客
2015/04/03 16:49

计算OSCHINA博文在百度的收录与排名情况

rank是一个seo工具,用于分析网站的搜索引擎收录排名。 计算OSCHINA博文在百度的收录与排名情况的代码来自rank项目:https://github.com/ysc/rank/blob/master/src/main/java/org/seo/rank/impl/BaiduRanker.java。 本文我们分析OSCHINA博客:http://my.oschina.net/apdplat/blog 在搜索引擎百度中的收录与排名情况,我们以结果84 APDPlat的系统启动和关闭流程剖析(1) 为例子来说明,表示的意思是用关键词:APDPlat的系统启动和...

0
1
发表了博客
2015/04/04 04:00

计算ITEYE博文在百度的收录与排名情况

rank是一个seo工具,用于分析网站的搜索引擎收录排名。 计算ITEYE博文在百度的收录与排名情况的代码来自rank项目:https://github.com/ysc/rank/blob/master/src/main/java/org/seo/rank/impl/BaiduRanker.java。 本文我们分析ITEYE博客:http://yangshangchuan.iteye.com 在搜索引擎百度中的收录与排名情况,我们以结果1 APDPlat的系统启动和关闭流程剖析(-1) 为例子来说明,表示的意思是用关键词:APDPlat的系统启动和关闭流程...

0
0
发表于大前端专区
2015/10/13 23:46

如何抓取Js动态生成数据且以滚动页面方式分页的网页

当我们在进行数据抓取的时候,如果目标网站是以Js的方式动态生成数据且以滚动页面的方式进行分页,那么我们该如何抓取呢? 如类似今日头条这样的网站:http://toutiao.com/ 我们可以使用Selenium来搞定这件事情。Selenium的设计目的虽然是用于Web应用程序的自动化测试,但是却非常适合用来做数据抓取,可以非常简单地绕过网站的反爬虫限制,因为Selenium直接运行在浏览器中,就像真正的用户在操作一样。 使用Selenium,我们不但...

7
126
发表于大前端专区
2015/10/21 18:53

如何写程序自动下载BBC Learning English的所有在线课程

BBC Learning English在线3大系列课程:Lower intermediate、Intermediate、English My Way 声音很悦耳,尤其是Jamaica Inn和The Importance of Being Earnest,堪称完美,百听不厌,这对于英语兴趣的培养和英语能力的提升非常有帮助。到目前为止,这些课程的mp3和pdf文件已经有2859个,而且还在持续增长中,如果能写个程序自动地把这些文件下载下来就好了,要是手工一个个下载,那得累死吧,尤其是对那些还从来没有学过这个课程...

3
52
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
48 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部