简单快速的 Web 爬虫框架 Colly

简单快速的 Web 爬虫框架 Colly

Apache 2.0
Google Go
跨平台
2018-05-17
王练

Colly 是一个采用 Go 语言编写的 Web 爬虫框架,旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过 Colly ,你可以轻松从网站中提取结构化的数据,然后进行数据挖掘、处理或归档。

项目特性

  • 清晰明了的 API 

  • 快速(单个内核上的请求数大于1k)

  • 管理每个域的请求延迟和最大并发数

  • 自动 cookie 和会话处理

  • 同步/异步/并行抓取

  • 高速缓存

  • 自动处理非 Unicode 编码

  • 支持 Robots.txt

  • 支持 Google App Engine

  • 通关环境变量进行配置

  • 可扩展

示例

func main() {
	c := colly.NewCollector()

	// Find and visit all links
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		e.Request.Visit(e.Attr("href"))
	})

	c.OnRequest(func(r *colly.Request) {
		fmt.Println("Visiting", r.URL)
	})

	c.Visit("http://go-colly.org/")
}
的码云指数为
超过 的项目
加载中

评论(1)

一枚假程序猿
一枚假程序猿
遇到VUE等使用js进行动态绑定数据的页面就不行了

暂无资讯

暂无问答

CSS3 Media Queries 实现响应式设计

CSS3 Media Queries 实现响应式设计

2014/06/10 10:35
86
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部