Crawlab Lite 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Crawlab Lite 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Crawlab Lite 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Crawlab Lite 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Crawlab Lite 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Crawlab 的轻量版本,基于 Golang 的爬虫管理平台,支持任意语言编写的爬虫。

相比较 Crawlab,该版本专注于单机上的爬虫管理,平台运行不依赖任何的外部数据库,去除了大量非必要功能。

快速开始

Docker Compose

1. 在任意目录下创建 docker-compose.yml,内容如下:

version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"

2. 在目录下运行命令:

docker-compose up -d

3. 访问 http://localhost:8080

源代码

1. 克隆仓库

git clone https://github.com/crawlab-team/crawlab-lite
cd crawlab-lite

2. 运行后端

cd backend
go run main.go

3. 运行前端

cd ../frontend
npm i && npm run serve

4. 访问 http://localhost:8080

截图

爬虫列表

任务列表

定时列表

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表了资讯
2020/07/15 22:28

Crawlab Lite v0.0.1 正式发布,更轻量的爬虫管理平台

Crawlab Lite 正式发布,更轻量的爬虫管理平台 Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部分用户并...

0
21
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/07/16 09:27

Crawlab Lite 正式发布,更轻量的爬虫管理平台

Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部分用户并不能充分使用所有的功能。 因此 Crawlab Lite...

0
0
发表了博客
2020/07/16 09:23

Crawlab Lite 正式发布,更轻量的爬虫管理平台

Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部分用户并不能充分使用所有的功能。 因此 Crawlab Lite...

0
0
发表了博客
2020/04/02 15:48

Crawlab尝试

- 官方: https://docs.crawlab.cn/ https://github.com/crawlab-team/crawlab - Crawlab配置 ````1.配置Crawlab Windows 安装 docker: https://www.docker.com/products/docker-desktop 安装python环境: 我选 Pycharm+Anaconda 安装docker-compose: pip install docker-compose 创建项目文件:docker-compose.yml 启动: docker-compose up -d 测试服务: http://localhost:8080/ ```` ![](https://oscimg.oschina.net/oscnet/up-...

0
0
发表于服务端专区
2020/07/15 19:35

Crawlab准备之python+scrapy环境搭建

阅读文本大概需要3分钟。 上篇《分布式爬虫管理平台Crawlab开发搭建》把爬虫的管理后台搭建起来了;捣鼓一番发现要真正爬取数据还有下不少的功夫。这篇看看怎么搭建python+scrapy环境。 0x01:安装Python3 下载python安装包,具体版本根据自己的系统要求 https://www.python.org/downloads/windows/ 下载安装完成后直接cmd输入python,可正常查看版本 注:安装过程中请注意一定要请勾选pip安装并加入到环境变量中,否则后续无法...

0
0
发表于软件架构专区
2020/02/04 09:43

爬虫管理平台 Crawlab v0.4.5 发布

## 前言 本次修复主要集中在 Bug 修复和一些必要的优化。 ## 更新日志 ### 功能 / 优化 - **交互式教程**. 引导用户了解 Crawlab 的主要功能. - **加入全局环境变量**. 可以设置全局环境变量,然后传入到所有爬虫程序中. [#177](https://github.com/crawlab-team/crawlab/issues/177) - **项目**. 允许用户将爬虫关联到项目上. [#316](https://github.com/crawlab-team/crawlab/issues/316) - **示例爬虫**. 当初始化时,自动加...

0
0
发表于AI & 大数据专区
2020/02/14 11:15

爬虫管理平台 Crawlab v0.4.6 发布

## 前言 本次更新主要集中在日志管理、任务触发、爬虫展示等优化,以及加入 Node.js SDK。 ## 更新日志 ### 功能 / 优化 - **Node.js SDK**. 用户可以将 SDK 应用到他们的 Node.js 爬虫中. - **日志管理优化**. 日志搜索,错误高亮,自动滚动. - **任务执行流程优化**. 允许用户在触发任务后跳转到该任务详情页. - **任务展示优化**. 在爬虫详情页的最近任务表格中加入了“参数”列. [#295](https://github.com/crawlab-team/cr...

0
0
2020/11/28 17:12

Crawlab运行程序报错 Traceback (most recent call last):

首先代码上传到Crawlab,然后运行,就给我报错了。但本地没问题,让人很头疼 怎么办那。是json这块出了问题 使用这个方法 把json.dumps改json_util.dumps就行 from bson import json_util json_util.dumps(data) 如果对你的问题有帮助,记得三联啊 本文分享 CSDN - 风启新尘。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...

0
0
发表于开发技能专区
2019/09/16 13:23

爬虫平台Crawlab核心原理--分布式架构

背景 Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从v0.1到了v0.3.0;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行可配置爬虫(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自己搭建环境到Docker部署;从手动执行任务到定时任务;等等(详情见CHANGELOG)。在使用者们的反馈下,Crawlab爬虫平台也逐渐变得稳...

0
0
发表于服务端专区
2019/09/17 16:59

爬虫平台Crawlab核心原理--分布式架构

背景 Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从v0.1到了v0.3.0;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行可配置爬虫(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自己搭建环境到Docker部署;从手动执行任务到定时任务;等等(详情见CHANGELOG)。在使用者们的反馈下,Crawlab爬虫平台也逐渐变得稳...

0
1
2020/07/11 21:47

分布式爬虫管理平台Crawlab开发搭建

阅读文本大概需要3分钟。 分布式爬虫管理平台Crawlab发现挺不错,但是官方文档中涉及二次开发的环境启动章节比较模糊。 最先需要的是克隆代码 https://github.com/nickliqian/crawlab 前端部署 1、安装node(网上node下载即可) 2、安装基本依赖 cmd窗口使用administrator用户运行执行: npm install --global --production windows-build-tools npm install -g node-gyp npm install -g yarn   npm install nod...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
40 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部