声明式 Web 爬虫系统 Ferret

MIT
Google Go
跨平台
2018-10-10
王练

Ferret 是一个声明式的 Web 爬虫系统,旨在简化网络上的数据提取,以用于 UI 测试、机器学习和分析等等。

Ferret 拥有自己的声明式语言,通过抽象出技术细节和底层技术的复杂性,从而更专注于数据本身。

特性

  • 声明式语言

  • 支持静态和动态 web 页面

  • 嵌入式

  • 可扩展

示例

LET google = DOCUMENT("https://www.google.com/", true)

INPUT(google, 'input[name="q"]', "ferret", 25)
CLICK(google, 'input[name="btnK"]')

WAIT_NAVIGATION(google)

FOR result IN ELEMENTS(google, '.g')
    // filter out extra elements like videos and 'People also ask'
    FILTER TRIM(result.attributes.class) == 'g'
    RETURN {
        title: INNER_TEXT(result, 'h3'),
        description: INNER_TEXT(result, '.st'),
        url: INNER_TEXT(result, 'cite')
    }
加载中

评论(1)

开源中国射线科科长
一股Py味~呵~一看就是Google的人开发的

暂无资讯

暂无问答

NodeJS学习第一季-路由规则

express 封装了很多http请求,下面将介绍如何获取http请求的参数和路由规则

2015/07/29 22:08
132
0
Kali Linux Web渗透测试视频教程—第十四课-arp欺骗、嗅探\dns欺骗、session

目录 Kali Linux Web 渗透测试—第十四课-arp欺骗、嗅探、dns欺骗、session劫持 1 关于嗅探、arp欺骗、会话劫持.............................................................. 1 视频教程...

2016/06/16 15:26
127
0
25个简洁UI登录表单设计

1. Nikerunning Nikerunning 2. RIPT apparel RIPT apparel 3. Appboy Appboy 4. Twitr designs Twitr designs 5. Voxtopia Voxtopia 6. Carbonmade Carbonmade 7. Tasty planner Tasty plan...

2010/10/15 09:28
2.8K
0
基于java swing的设备管理系统

不写java swing挺久了,最近有人要帮忙,也就写个熟熟手,把文档贴出来,嘿嘿。

2016/06/29 13:05
231
0
trap or bug when using CONTINUE in Oracle 11g

CONTINUE is a new feature brought in Oracle 11g, but there is a trap or bug need to pay attention, see the following code scrap: DECLARE CURSOR dept_cur IS SELECT deptno ...

2012/03/09 16:05
22
0
xpath 问题汇总

1. getting text after html tag with php and xpath http://stackoverflow.com/questions/12169275/getting-text-after-html-tag-with-php-and-xpath/16873625#16873625 I have the followi...

2013/06/12 11:16
41
0
Mac 安装 scrapy

问题参考:https://www.jianshu.com/p/97b0bb5c720a 1、升级pip:pip install --upgrade pip 2、安装scrap,忽略zope.interface : sudo pip install Scrapy --upgrade --ignore-installed z...

11/15 15:12
10
0
ListView的深入探讨

从源码层面对ListView进行深入探讨,对其工作原理进行进一步的剖析

2016/07/27 17:24
7
0
Android ListView实现任意layout

Android ListView实现任意layout

2014/10/17 01:41
282
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部