nutch 抓取的内容如何存 hbase中

tngou 发布于 2012/12/11 22:38
阅读 1K+
收藏 0

用的是nutch2.0+ mysql+solr能够做数据的搜集

urls/下存的是记录抓取网页信息

bin/nutch crawl urls -depth 3 -topN 5

可以把抓取的内容存储数据库。

bin/nutch  solrindex http://127.0.0.1:8080/solr/  -reindex 

可以存储solr中。

但现在如果把数据存放到hbase中。

加载中
返回顶部
顶部