Crawlab Lite 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Crawlab Lite 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票

软件简介

Crawlab 的轻量版本,基于 Golang 的爬虫管理平台,支持任意语言编写的爬虫。

相比较 Crawlab,该版本专注于单机上的爬虫管理,平台运行不依赖任何的外部数据库,去除了大量非必要功能。

快速开始

Docker Compose

1. 在任意目录下创建 docker-compose.yml,内容如下:

version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"

2. 在目录下运行命令:

docker-compose up -d

3. 访问 http://localhost:8080

源代码

1. 克隆仓库

git clone https://github.com/crawlab-team/crawlab-lite
cd crawlab-lite

2. 运行后端

cd backend
go run main.go

3. 运行前端

cd ../frontend
npm i && npm run serve

4. 访问 http://localhost:8080

截图

爬虫列表

任务列表

定时列表

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表了资讯
07/15 22:28

Crawlab Lite v0.0.1 正式发布,更轻量的爬虫管理平台

Crawlab Lite 正式发布,更轻量的爬虫管理平台 Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只...

0
21
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
07/16 09:27

Crawlab Lite 正式发布,更轻量的爬虫管理平台

Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawla...

0
0
发表了博客
07/16 09:23

Crawlab Lite 正式发布,更轻量的爬虫管理平台

Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawla...

0
0
发表了博客
04/02 15:48

Crawlab尝试

官方: https://docs.crawlab.cn/ https://github.com/crawlab-team/crawlab Crawlab配置 Windows 安装 docker: https://www.docker.com/products/docker-desktop 安装python环境: 我选 Pycharm+Anaconda 安装d......

0
0
发表于服务端专区
07/15 19:35

Crawlab准备之python+scrapy环境搭建

阅读文本大概需要3分钟。 上篇《分布式爬虫管理平台Crawlab开发搭建》把爬虫的管理后台搭建起来了;捣鼓一番发现要真正爬取数据还有下不少的功夫。这篇看看怎么搭建python+scrapy环境。 0x01:安装Python3 下载p...

0
0
发表于软件架构专区
02/04 09:43

爬虫管理平台 Crawlab v0.4.5 发布

前言 本次修复主要集中在 Bug 修复和一些必要的优化。 更新日志 功能 / 优化 交互式教程. 引导用户了解 Crawlab 的主要功能. 加入全局环境变量. 可以设置全局环境变量,然后传入到所有爬虫程序中. #177 项目. 允许...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
34 收藏
分享
返回顶部
顶部