2
回答
同一页面 有的数据可以抓取到 有的不行
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   

@黄亿华 你好,想跟你请教个问题:

title的数据是有的,但是resource一直为null,我猜是路径的问题,但是我的路径又是没问题的 求指教

public class WebmagicDemo4 implements PageProcessor {


private Site page = Site.me().setRetryTimes(3).setSleepTime(1000);


@Override
public Site getSite() {
return page;
}


@Override
public void process(Page page) {
List<String> links = page.getHtml().links().regex("http://www.zimuzu.tv/resource/\\d+").all();
System.out.println(links.toString());
links = removeDuplicate(links);
page.addTargetRequests(links);
page.putField("title",
page.getHtml()
.xpath("//div[@class='middle-box']/div[@class='w']/div[@class='area-left']/div[@class='box resource-con']/h2/text()")
.toString());
page.putField("resource",
page.getHtml()
.xpath("//div[@class='middle-box']/div[@class='w']/div[@class='area-left']/div[@class='box top-res-box']/h2/text()")
.toString());
if (page.getResultItems().get("title") == null) {
// skip this page
page.setSkip(true);
}
}


public static void main(String[] args) {
for (int i = 1; i <= 3; i++) {
Spider.create(new WebmagicDemo4()).addUrl(
"http://www.zimuzu.tv/eresourcelist?page=2&channel=&area=&category=&format=&year=&sort=" + i)
.thread(5).run();
}
}


public static List removeDuplicate(List list) {
HashSet hs = new HashSet(list);
list.clear();
list.addAll(hs);
return list;
}
}

举报
ingskying
发帖于2年前 2回/268阅
顶部