YaCy

YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启动分布式Crawling等.

相关文章

加载中

[软件] YaCy - 网页爬虫

https://www.oschina.net/p/yacy

YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启动分布式Crawl...

[博客] 使用开源搜索引擎 YaCy 的技巧

https://my.oschina.net/u/4362791/blog/3200437

https://linux.cn/article-11919-1.html 无需适应其他人的眼光,而是使用 YaCY 搜索引擎定义你想要的互联网。 在我以前介绍 YaCy 入门的文章中讲述过 YaCy 这个对等peer-to-peer式的搜索引擎...

03/19 00:00

[博客] 使用开源搜索引擎 YaCy 的技巧

https://my.oschina.net/u/4321646/blog/3204576

https://linux.cn/article-11919-1.html 无需适应其他人的眼光,而是使用 YaCY 搜索引擎定义你想要的互联网。 在我以前介绍 YaCy 入门的文章中讲述过 YaCy 这个对等peer-to-peer式的搜索引擎...

03/19 00:00

[资讯] YaCy 0.94 发布,网页爬虫

https://www.oschina.net/news/7477

YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启动分布式Crawl...

2010/02/26 00:00

[资讯] YaCy 1.0 发布,自由软件搜索引擎

https://www.oschina.net/news/23595

自由软件基金会欧洲分部(FSFE)宣布了去中心化的自由软件搜索引擎YaCy。 YaCy是一种点对点搜索引擎,与传统的集中式搜索引擎不同,它没有一个中央服务器,运行在一个点对点的分布式网络上,所...

2011/11/29 00:00

[博客] 用开源搜索引擎定制你的互联网

https://my.oschina.net/u/4418610/blog/3200541

https://linux.cn/article-11905-1.html 上手开源的对等 Web 索引器 YaCy。 很久以前,互联网很小,小到几个人就可以索引它们,这些人收集了所有网站的名称和链接,并按主题将它们分别列在页...

03/19 00:00

[博客] 用开源搜索引擎定制你的互联网

https://my.oschina.net/u/4386695/blog/3204680

https://linux.cn/article-11905-1.html 上手开源的对等 Web 索引器 YaCy。 很久以前,互联网很小,小到几个人就可以索引它们,这些人收集了所有网站的名称和链接,并按主题将它们分别列在页...

03/19 00:00

[博客] 20 款开源搜索引擎介绍与比较

https://my.oschina.net/u/54100/blog/3026578

搜索引擎的工作流程主要分为三步:从互联网抓取网页→创建抓取网页的索引库→从索引库中进行搜索。 首 先需要一个能访问网络的爬虫器程序,依据URL之间的关联性自动爬行整个互联网,并对爬行...

2019/03/23 00:00

[博客] 20款开源搜索引擎介绍与比较

https://my.oschina.net/u/4306990/blog/3913880

放源代码搜索引擎为人们学习、研究并掌握搜索技术提供了极好的途径与素材,推动了搜索技术的普及与发展,使越来越多的人开始了解并推广使用搜索技术。使用开源搜索引擎,可以大大缩短构建搜索...

2018/07/06 00:00

[博客] P2P网络的寻包设计:DHT-distributed hash table

https://my.oschina.net/u/1263162/blog/1811480

https://en.wikipedia.org/wiki/Distributedhash_table A distributed hash table (DHT) is a class of a decentralized distributed system that provides a lookup service similar to a h...

2018/05/13 00:00

[博客] 83款 网络爬虫开源软件

https://my.oschina.net/u/1996099/blog/298838

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch 最近更新:【每日一博】Nutch 的 url 的正则过滤机制研究 发布于 20天前 网站爬虫 Grub Next Gene...

2014/08/07 00:00

[博客] 83款 网络爬虫开源软件

https://my.oschina.net/u/1996099/blog/298835

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch 最近更新:【每日一博】Nutch 的 url 的正则过滤机制研究 发布于 20天前 网站爬虫 Grub Next Gene...

2014/08/07 00:00

[博客] 83款 网络爬虫开源软件

https://my.oschina.net/u/1996099/blog/298836

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch 最近更新:【每日一博】Nutch 的 url 的正则过滤机制研究 发布于 20天前 网站爬虫 Grub Next Gene...

2014/08/07 00:00

[博客] 83款 网络爬虫开源软件

https://my.oschina.net/u/1996099/blog/298840

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch 最近更新:【每日一博】Nutch 的 url 的正则过滤机制研究 发布于 20天前 网站爬虫 Grub Next Gene...

2014/08/07 00:00

[博客] 83款 网络爬虫开源软件

https://my.oschina.net/u/1996099/blog/298837

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch 最近更新:【每日一博】Nutch 的 url 的正则过滤机制研究 发布于 20天前 网站爬虫 Grub Next Gene...

2014/08/07 00:00

[博客] 83款 网络爬虫开源软件

https://my.oschina.net/u/1996099/blog/298839

1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch 最近更新:【每日一博】Nutch 的 url 的正则过滤机制研究 发布于 20天前 网站爬虫 Grub Next Gene...

2014/08/07 00:00

[博客] 20款开源搜索引擎系统

https://my.oschina.net/u/123050/blog/267993

一些开源搜索引擎系统介绍,包含开源Web搜索引擎和开源桌面搜索引擎。 Sphider Sphider是一个轻量级,采用PHP开发的web spider和搜索引擎,使用mysql来存储数据。可以利用它来为自己的网站添...

2014/05/23 00:00

[博客] 开源爬虫软件汇总

https://my.oschina.net/u/1032350/blog/336467

世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总,如下表所示。虽然搜索引擎也有爬虫,但本次我汇总的只是爬虫软件,而非大型、复杂的...

2014/10/23 00:00

[博客] 44款Java 网络爬虫开源软件

https://my.oschina.net/u/2932806/blog/1823820

极简网络爬虫组件 WebFetch WebFetch 是无依赖极简网页爬取组件,能在移动设备上运行的微型爬虫。 WebFetch 要达到的目标: 没有第三方依赖jar包 减少内存使用 提高CPU利用率 加快网络爬取速...

2018/06/04 00:00

[博客] 架构模式——点对点模式

https://my.oschina.net/u/4257655/blog/3965646

点对点模式 1、什么是点对点模式? 对等式网络(peer-to-peer, 简称P2P),又称点对点技术,其架构体现了一个网际网络技术的关键概念,是无中心服务器、依靠用户群(peers)交换信息的互联网...

2018/05/21 00:00
返回顶部
顶部