Node/PhantomJS爬虫 Jedi-Crawler

MIT
JavaScript 查看源码»
跨平台
2016-07-27
开源中国股瞎

Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫,可以动态的抓取网页内容。

安装:

npm install jedi-crawler

示例代码:

var jedi = require('./modules/jedi.js'),
fs = require('fs');


/// REGISTER ALL THE PADAWANS

var PADAWANS_DIR = "./padawans/";

fs.readdirSync(PADAWANS_DIR).forEach(function(padawan){
  require(PADAWANS_DIR + padawan)(jedi);
});

jedi.crawl('http://en.wikipedia.org/wiki/Montpellier,_France', function(err, data){
  console.log(data);
});
的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

【自动化测试】无需图形界面环境下的浏览器开源项目

大公司一般都会做自动化覆盖测试,会用到不需要节目的浏览器环境,下面有一些开源工具有时间尝试下 软件名 介绍 支持语言 Awesomium 基于Chromium无图形界面浏览器引擎。 C++, .NET benv Ben...

2016/10/11 23:57
62
0
无需图形界面环境下的浏览器项目一览表

本表几乎列出了所有无需图形界面环境下的浏览器开源项目,可用于自动化、测试或者其他用途。 软件名 介绍 支持语言 Awesomium 基于Chromium无图形界面浏览器引擎。 C++, .NET benv Benv是nod...

2018/06/12 10:16
27
0
jedi-vim python插件

使用过的唯一VIM的插件 就是Jedi-VIM,[项目地址][1],使用介绍和其相关特性可以在项目的页面找到,这边主要把安装的步骤写一下,存档。 1. 安装pathogen.vim mkdir -p ~/.vim/autoload ~/....

2013/09/25 12:15
4.9K
1
python开源爬虫框架scrapy源码解析(三)

从本节开始将介绍scrapy最核心的部分crawl命令的实现,通过crawl命令可以启动一个爬虫工程.接下来我将介绍scrapy的引擎、调度器、下载器等组件是如何协同工作的。

2016/03/30 22:14
317
1
Crawler4j的使用

爬虫

2016/06/07 16:34
619
1
为Heritrix定制自己的QueueAssignmentPolicy

Heritrix使用了Berkeley DB来构建链接队列。这些队列被置放于BdbMultipleWorkQueues中时,总是先给予一个Key,然后将那些Key值相同的链接放在一起, 成为一个队列,也就是一个Queue。在Herit...

2016/08/07 17:02
17
0
node.js 爬网页中文问题

用node.js从Web上爬网页。涉及到三个步骤,取回来,分析内容,依照连接取更多。 https://github.com/sylvinus/node-crawler 把这个基础工作给做了。 但如何处理中文往往是一个小问题却成了障...

2016/08/01 15:01
43
0
VIM自动补全插件:deoplete

Nvim用的是Shougo开发的NCM,但是在VIM 8+就要用同一个作者开发的Deoplete. 参考官网:Shougo/deoplete.nvim 注意:这里只讲怎么给vim8安装。 安装 第一步:安装所有依赖 # 安装VIM 8 # ......

01/06 03:10
105
0
高效vim插件

VIM化繁为简......

2013/08/26 00:04
26.9K
8
网络爬虫入门教程(一):概述

简单介绍一下网络爬虫的几个基本点

2016/06/30 15:35
51
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部