使用 Node.js 实现的网页抓取 已翻译 100%

对于一些web站点来说这个是有效的，但这仅仅是JS脚本，而不是我那个被这些公司放在他们站点上的node.js的code。他们对遗留下来的问题，针对复杂性就行分层，使得你非常难去弄明白该做什么来得到登录的信息点。对于一些站点我尝试了几天通过与request()库结合来获取，但仍是徒然。

在几近崩溃后，我发现了node-phantomjs，这个库可以让我从node中控制phantomjs headless webkit浏览器（译者注：这个我没想到一个对应的名词，headless这里的意思是渲染页面在后台完成，无需显示设备）。这看起来是一种简单的解决方案，但是还有一些phantomjs无法回避的问题需要解决：

• PhantomJS只能告诉你页面是否完成了加载，但是你无法确定这个过程中是否存在通过JavaScript或者meta标签实现的重定向（redirect）。特别是JavaScript使用setTimeout()来延迟调用的时候。
• PhantomJS为你提供了一个页面加载开始（pageLoadStarted）的钩子，允许你处理上面提到的问题，但是这个机能只能在你确定要加载的页面数，在每个页面加载完成时减少这个数字，并且为可能的超时提供处理（因为这种事情并不总是会发生），这样当你的数字减少为0，就可以调用你的回调函数了。这种方式可以工作，但是总让人觉得有点像是黑客手段。
• PhantomJS每抓取一个页面需要一个完整独立的进程，因为如果不这样，无法分离每个页面之间的cookies。如果你是用同一个phantomjs进程，已经登录的页面中的session会被发送到另一个页面中。
• 无法使用PhantomJS下载资源 - 你只能将页面保存为png或者pdf。这很有用，但是这意味着我们需要求助于request()来下载pdf。
• 由于上述的原因，我必须找到一个方法来将cookie从PhantomJS的session中分发到request()的session库中去。只需要将document.cookie的字符串分发过去，解析它，然后将其注入到request()的cookie jar中去。
• 将变量注入到浏览器session中并不是件容易的事情。要这么做我需要创建一个字符串来建立一个Javascript函数。

  Robot.prototype.add_page_data = function (page, name, data) {
   page.evaluate(
   "function () { var " + name + " = window." + name + " = " + JSON.stringify(data) + "}"
   );
  }

• 一些网站总是充斥着console.log()之类的代码，也需要将他们重新定义，输出到我们希望的位置。为了完成这个，我这么做：

  if (!console.log) {
      var iframe = document.createElement("iframe");
      document.body.appendChild(iframe);
      console = window.frames[0].console;
  }

• 告诉浏览器我点击了a标签也是件很不容易的事情，为了完成这些事情，我加入了以下的代码：

  var clickElement = window.clickElement = function (id){
      var a = document.getElementById(id);
      var e = document.createEvent("MouseEvents");
      e.initMouseEvent("click", true, true, window, 0, 0, 0, 0, 0, false, false, false, false, 0, null);
      a.dispatchEvent(e);
   };

• 我还需要限制浏览器session的最大并发量，从而保障我们不会爆掉服务器。虽然这么说，可是这个限制要比昂贵的商业解决方案所能提供的高很多。（译者注：即商业解决方案的并发量比这个解决方案大）