robotstxt-rust 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
robotstxt-rust 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票

软件简介

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt

特点如下:

  • 原生Rust代码实现,不依赖任何第三方库
  • 0 unsafe代码
  • 保留所有原Google版的实现方式
  • 与原Google版API完全一致
  • 用Rust跑通了100%的Google C++测试用例

安装

[dependencies]
robotstxt = "0.2.0"

快速开始

use robotstxt::DefaultMatcher;

let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
                   disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
爬虫比赛,不限制语言!拿37000元现金大奖! 👉 https://jinshuju.net/f/ivkDfF 冲鸭!
06/24 16:46
回复
举报
更多评论
暂无内容
发表于开发技能专区
2015/03/11 10:53

搜索引擎蜘蛛及网站robots.txt文件详解

转载:搜索引擎蜘蛛及网站robots.txt文件详解 作者:郝聪 原文连接:http://www.bloghuman.com/post/67/ 我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说,有时候会有一些站点内...

0
0
发表了博客
2018/12/22 10:33

dedecms:解析Robots.txt 协议标准

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。 下面我们就来详细介绍一下它的使用方法: Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。 例如:...

0
0
发表于大前端专区
2014/12/18 21:39

利用robots.txt对wordpress博客进行优化

本站的配置很简单,因为刚建成哈。 User-agent: * Disallow: /wp- 一、先来普及下robots.txt的概念:   robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。这个文件...

0
1
发表了博客
2018/10/19 02:07

[Rust] Setup Rust for WebAssembly

In order to setup a project we need to install the nightly build of Rust and add the WebAssembly target. For an improved workflow we also install the CLI tools wasm-pack and wasm-gc. Install: brew install rustup Run: rustup-init Setup nightly toolchain as default. rustup default nightly Then we a...

0
0
发表了博客
2019/04/10 10:10

【rust】rust安装,运行第一个Rust 程序 (1)

安装 Rust 在 Unix 类系统如 Linux 和 macOS 上,打开终端并输入: curl https://sh.rustup.rs -sSf | sh 回车后安装过程出现如下显示: info: downloading installer Welcome to Rust! This will download and install the official compiler for the Rust programming language, and its package manager,...

1
0
发表了博客
08/22 14:36

Rust计划成立Rust基金会

Rust语言在官网宣布,Rust Core 团队和 Mozilla 计划创建一个 Rust 基金会。Rust 最初是 Mozilla 的一个研究项目,2015 年发布了 1.0 版本。2020 年 8 月 11 日,Mozilla 宣布重组裁员,大约 250 名员工被裁,其中包括 Rust 项目和社区的活跃成员。Rust Core 团队称,尽管裁员对 Rust 项目本身也产生了一定影响,但 Rust...

1
0
发表了博客
2019/05/16 10:16

【rust】Rust变量绑定(3)

Rust 是一个静态类型语言,这意味着我们需要先确定我们需要的类型。 什么是变量绑定? 将一些值绑定到一个名字上,这样可以在之后使用他们。 如何声明一个绑定? 使用 let 关键字: fn main() {   let x = 1; } 关于类型:Rust有一个叫做类型推断的功能。如果它能确认这是什么类型,Rust 不需要你明确地指出来。 如何...

0
0
发表了博客
08/21 12:04

Rust计划成立Rust基金会

Rust语言在官网宣布,Rust Core 团队和 Mozilla 计划创建一个 Rust 基金会。Rust 最初是 Mozilla 的一个研究项目,2015 年发布了 1.0 版本。2020 年 8 月 11 日,Mozilla 宣布重组裁员,大约 250 名员工被裁,其中...

0
0
发表于AI & 大数据专区
04/26 08:00

Rust 视界 | 为 Rust 编译器提速

点击上方蓝字关注我们 理清头脑混沌,觉醒心智天地 Mozilla 工程师 Nicholas 总结了他自己迄今为止为提升 Rust 编译器的编译速度而作的改进(Pull Request)。 我们可以从他所做的贡献中,对 Rust 编译器的编译细...

0
0
发表于开发技能专区
2018/07/08 02:08

rust

使用cargo http://somefuture.iteye.com/blog/2275494 使用科大源 https://blog.csdn.net/xiangxianghehe/article/details/53471936...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
2 收藏
分享
返回顶部
顶部