robotstxt-rust 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
robotstxt-rust 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
robotstxt-rust 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
robotstxt-rust 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
robotstxt-rust 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt

特点如下:

  • 原生Rust代码实现,不依赖任何第三方库
  • 0 unsafe代码
  • 保留所有原Google版的实现方式
  • 与原Google版API完全一致
  • 用Rust跑通了100%的Google C++测试用例

安装

[dependencies]
robotstxt = "0.2.0"

快速开始

use robotstxt::DefaultMatcher;

let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
                   disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
该评论暂时无法显示,详情咨询 QQ 群:912889742
更多评论
暂无内容
发表于软件架构专区
2015/03/11 10:53

搜索引擎蜘蛛及网站robots.txt文件详解

转载:搜索引擎蜘蛛及网站robots.txt文件详解 作者:郝聪 原文连接:http://www.bloghuman.com/post/67/ 我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开。为了解决这个问题,ROBOTS开发界提供了两个办法:一个是robots.txt,另一个...

0
0
发表了博客
2018/12/22 10:33

dedecms:解析Robots.txt 协议标准

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。 下面我们就来详细介绍一下它的使用方法: Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。 例如: 如果您的网站地址是 http://www.dedecms.com 那么,该文件必须能够通过 http://www.dedecms.com/robots.tx...

0
0
发表于大前端专区
2014/12/18 21:39

利用robots.txt对wordpress博客进行优化

本站的配置很简单,因为刚建成哈。 User-agent: * Disallow: /wp- 一、先来普及下robots.txt的概念:   robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。这个文件用于指定spider在您网站上的抓取范围,一定程度上保护站点的安全和隐私。同时也是网站优化利器,例如屏蔽捉...

0
1
发表了博客
2018/10/19 02:07

[Rust] Setup Rust for WebAssembly

In order to setup a project we need to install the nightly build of Rust and add the WebAssembly target. For an improved workflow we also install the CLI tools wasm-pack and wasm-gc. Install: brew install rustup Run: rustup-init Setup nightly toolchain as default. rustup default nightly Then we add the target wasm32-unknown-unknown rustup target add wasm32-unknown-unknown In addition, we use ca...

0
0
发表了博客
2020/08/21 12:04

Rust计划成立Rust基金会

Rust语言在官网宣布,Rust Core 团队和 Mozilla 计划创建一个 Rust 基金会。Rust 最初是 Mozilla 的一个研究项目,2015 年发布了 1.0 版本。2020 年 8 月 11 日,Mozilla 宣布重组裁员,大约 250 名员工被裁,其中包括 Rust 项目和社区的活跃成员。Rust Core 团队称,尽管裁员对 Rust 项目本身也产生了一定影响,但 Rust 项目作为一个整体还是保持了灵活适应性。“我们有来自不同背景和雇主的领导者和贡献者,这种多样性是一种重...

0
0
发表于程序人生专区
2020/04/26 08:00

Rust 视界 | 为 Rust 编译器提速

点击上方蓝字关注我们 理清头脑混沌,觉醒心智天地 Mozilla 工程师 Nicholas 总结了他自己迄今为止为提升 Rust 编译器的编译速度而作的改进(Pull Request)。 我们可以从他所做的贡献中,对 Rust 编译器的编译细节有所了解。因为 rustc 也是 Rust 实现的,所以也能从中学习一些编写高性能 Rust 代码的经验。 注:本文并非完整翻译,只是重点摘录,以及针对其中的某些内容进行了一些内容扩展。 原文地址(点击阅读原文可达): ...

0
2
发表了博客
2019/05/16 10:16

【rust】Rust变量绑定(3)

Rust 是一个静态类型语言,这意味着我们需要先确定我们需要的类型。 什么是变量绑定? 将一些值绑定到一个名字上,这样可以在之后使用他们。 如何声明一个绑定? 使用 let 关键字: fn main() {   let x = 1; } 关于类型:Rust有一个叫做类型推断的功能。如果它能确认这是什么类型,Rust 不需要你明确地指出来。 如何指定类型? 类型写在一个冒号( : )后面: let x: i32 = 5; 类型都有哪些?(后面会进行链接) 绑定值如何...

0
0
2018/06/13 13:59

我用 Rust 重写了博客,谈谈我眼中的 Rust.

## 前言 我已经学习 Rust 有挺长的一段时间了,一直想用 Rust 来写点东西,但是缺乏好的想法; 有些想法自我感觉良好,但是又没有能力实现 (比如,写一个操作系统?), 所以最后我决 定还是拿我的博客来做实验品吧。我原来的博客 是 基于 Github Page 和 Org mode 实现的静态博客,略显简单。所以我就觉得用 Rust 来写 个新的博客。 ## 我眼中的 Rust 前后花了一个月的空余时间来写这个博客,写完这个博客之后,我觉得我应该算是...

0
22
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
2 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部