关于webmagic源码和HttpClient4.3的几个疑问

Timco 发布于 2014/03/13 13:50
阅读 2K+
收藏 3

Linux基金会开源软件大学开源技术公开课即将上线,Kubernetes1.19实战讲解!>>>

@黄亿华 前辈,你好,最近又开始重新研读webmagic的源码,但是遇到了几个问题。自己也非常详细认真地阅读了HttpClient的英文Manual,但是不明白,想跟你请教一下:

1,问题同样来自于HttpClient其实,就是HttpRoute到底是什么作用?百思不得其解。

PoolingClientConnectionManager#setMaxPerRoute(HttpRoute route, int max)

HttpClientGenerator中connectionManager.setDefaultMaxPerRoute(100);这句话的作用是什么?

一个PoolingClientConnectionManager能设置几个HttpRoute?

2,

Registry<ConnectionSocketFactory> reg = RegistryBuilder.<ConnectionSocketFactory>create()
                .register("http", PlainConnectionSocketFactory.INSTANCE)
                .register("https", SSLConnectionSocketFactory.getSocketFactory())
                .build();
        connectionManager = new PoolingHttpClientConnectionManager(reg);

这一段代码中,为什么要设置reg?

谢谢~



加载中
1
黄亿华
黄亿华

  1. HttpRoute代表一台目标机器setMaxPerRoute就是设置到单服务器有最大多少个链接。
  2. Registry其实就是HttpComponents用来保存配置的key-value结构,ConnectionSocketFactory是建立连接的方式,这里其实就是说http://开头的用PlainConnectionSocketFactory.INSTANCE,https://开头的因为要用SSL连接,所以对应的是SSLConnectionSocketFactory.getSocketFactory()

HttpClient这个库代码说实话不太喜欢,看起来有点绕,因为它用到了太多OO的设计思想和设计模式。不过它已经很成熟了,很多支持都比较好,所以还是选了它。

0
宅男小何
宅男小何
据单词字面意思是:路由作用
Timco
Timco
单词还是认识的 - -
0
宅男小何
宅男小何

2.2.HTTP连接路由

HttpClient既可以直接、又可以通过多个中转路由(hops)和目标服务器建立连接。HttpClient把路由分为三种plain(明文 ),tunneled(隧道)和layered(分层)。隧道连接中使用的多个中间代理被称作代理链。

客户端直接连接到目标主机或者只通过了一个中间代理,这种就是Plain路由。客户端通过第一个代理建立连接,通过代理链tunnelling,这 种情况就是Tunneled路由。不通过中间代理的路由不可能时tunneled路由。客户端在一个已经存在的连接上进行协议分层,这样建立起来的路由就 是layered路由。协议只能在隧道—>目标主机,或者直接连接(没有代理),这两种链路上进行分层。

2.2.1.路由计算

RouteInfo接口包含了数据包发送到目标主机过程中,经过的路由信息。HttpRoute类继承了RouteInfo接口,是RouteInfo的具体实现,这个类是不允许修改的。HttpTracker类也实现了RouteInfo接口,它是可变的,HttpClient会在内部使用这个类来探测到目标主机的剩余路由。HttpRouteDirector是个辅助类,可以帮助计算数据包的下一步路由信息。这个类也是在HttpClient内部使用的。

HttpRoutePlanner接口可以用来表示基于http上下文情况下,客户端到服务器的路由计算策略。HttpClient有两个HttpRoutePlanner的实现类。SystemDefaultRoutePlanner这个类基于java.net.ProxySelector,它默认使用jvm的代理配置信息,这个配置信息一般来自系统配置或者浏览器配置。DefaultProxyRoutePlanner这个类既不使用java本身的配置,也不使用系统或者浏览器的配置。它通常通过默认代理来计算路由信息。

Timco
Timco
不管有没有帮助,谢谢了
0
宅男小何
宅男小何
刚看到的解释,希望对你有所帮助,呵呵
0
Timco
Timco

引用来自“黄亿华”的答案

  1. HttpRoute代表一台目标机器setMaxPerRoute就是设置到单服务器有最大多少个链接。
  2. Registry其实就是HttpComponents用来保存配置的key-value结构,ConnectionSocketFactory是建立连接的方式,这里其实就是说http://开头的用PlainConnectionSocketFactory.INSTANCE,https://开头的因为要用SSL连接,所以对应的是SSLConnectionSocketFactory.getSocketFactory()

HttpClient这个库代码说实话不太喜欢,看起来有点绕,因为它用到了太多OO的设计思想和设计模式。不过它已经很成熟了,很多支持都比较好,所以还是选了它。

非常感谢,但想再说说问题1.

再多次调用setMaxPerRoute(HttpRoute route, int max)的情况下,一个HttpClientConnectionManager可以设置多个不同域名的HttpRoute和相应的max吗?也就是说一个PoolingClientConnectionManager能设置多个HttpRoute?为什么webmagic调用的是setDefaultMaxPerRoute(100);而不是setMaxPerRoute(HttpRoute route, int max)?

Timco
Timco
回复 @david-wong : 那一个PoolingConnectionManager能多次设置setMaxPerRoute()吧,就像浏览器可以同时请求多个网站?
d
david-wong
这个其实在HttpClient的帮助文档里是有提到的。 意思是针对一个Host的TCP连接数。 就好比你用IE浏览器一样,一般来说针对一个Host最多建立4个TCP连接。所以很多网站为了性能,会启用多个域名,譬如采用外部的图片服务器,来提高网页打开速度。 如果你是针对一个垂直网站的爬取,这个MaxPerRoute可以设置的大一点,如果是针对多个域名的话,默认设置就可以了,默认好像是2。
黄亿华
黄亿华
这几个问题都没有深究,过几天好好研究一下代码在回答你。
0
Timco
Timco

引用来自“Timco”的答案

引用来自“黄亿华”的答案

  1. HttpRoute代表一台目标机器setMaxPerRoute就是设置到单服务器有最大多少个链接。
  2. Registry其实就是HttpComponents用来保存配置的key-value结构,ConnectionSocketFactory是建立连接的方式,这里其实就是说http://开头的用PlainConnectionSocketFactory.INSTANCE,https://开头的因为要用SSL连接,所以对应的是SSLConnectionSocketFactory.getSocketFactory()

HttpClient这个库代码说实话不太喜欢,看起来有点绕,因为它用到了太多OO的设计思想和设计模式。不过它已经很成熟了,很多支持都比较好,所以还是选了它。

非常感谢,但想再说说问题1.

再多次调用setMaxPerRoute(HttpRoute route, int max)的情况下,一个HttpClientConnectionManager可以设置多个不同域名的HttpRoute和相应的max吗?也就是说一个PoolingClientConnectionManager能设置多个HttpRoute?为什么webmagic调用的是setDefaultMaxPerRoute(100);而不是setMaxPerRoute(HttpRoute route, int max)?

Anyway,谢谢了~
0
j
jerry-niu
最近也看到了这个,时隔一年,不知道兄台现在是否已解惑?
返回顶部
顶部