Webmagic使用Selenium中的HtmlUnitDriver

sse123456789 发布于 2016/04/11 10:17
阅读 2K+
收藏 0

@黄亿华 你好,想跟你请教个问题:最近在使用webmagic的时候,想添加selenium中的htmlunitDriver,作为一个downloader。当htmlunitDriver初始化为htmlunitDriver()时,没有问题,可以一直下载。但是初始化为htmlunitDriver(true)(设置js开启)时,下载完第一个页面,程序就停止了,不知道怎么回事

public class HtmlUnitSimpleDownloader extends AbstractDownloader{


private int poolsize;

private static HtmlUnitDriver dirver= new HtmlUnitDriver(true);
@Override
public Page download(Request request, Task task) {
// TODO Auto-generated method stub

WebDriver webDriver=dirver;
webDriver.get(request.getUrl());

String content = webDriver.getPageSource();
Page page = new Page();
page.setRawText(content);
page.setHtml(new Html(UrlUtils.fixAllRelativeHrefs(content,
request.getUrl())));

page.setUrl(new PlainText(request.getUrl()));
page.setRequest(request);
return page;
}


@Override
public void setThread(int threadNum) {
// TODO Auto-generated method stub
this.poolsize=threadNum;
}


}




加载中
0
sse123456789
sse123456789
老师我发现了,是htmlunitdriver的原因,在解析某些js时会报错
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部