用于 Scrapyd 集群管理的 web 应用 ScrapydWeb

GPL-3.0
跨平台
2019-08-20
h4cd

ScrapydWeb 是一个用于 Scrapyd 集群管理的 web 应用,支持 Scrapy 日志分析和可视化。

特性:

  • Scrapyd 集群管理

    • 支持所有 Scrapyd JSON API
    • 支持通过分组和过滤来选择若干个节点
    • 一次操作, 批量执行
  • Scrapy 日志分析

    • 数据统计
    • 进度可视化
    • 日志分类
  • 增强功能

    • 自动打包项目
    • 集成 LogParser
    • 定时器任务
    • 监控和警报
    • 移动端 UI
    • web UI 支持基本身份认证

框架依赖:

  • 前端
    • Element
    • ECharts
  • 后端
    • Flask
的码云指数为
超过 的项目
加载中

评论(2)

OSC老油条NO-1
OSC老油条NO-1
mark一下
snamper
snamper
好东西

ScrapydWeb 1.4.0 发布,用于 Scrapyd 集群管理的 web 应用

ScrapydWeb 1.4.0 发布了。ScrapydWeb 是一个用于 Scrapyd 集群管理的 web 应用,支持 Scrapy 日志分析和可视化。 此版本更新内容如下: New Features 新增可以通过 Slack、Telegram 或 Emai...

08/21 07:48

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

一个用于定期增量式解析 Scrapy 爬虫日志的 Python 库,配合 ScrapydWeb 使用可实现爬 ...

GitHub 开源 https://github.com/my8100/logparser 安装 通过 pip: pip install logparser 通过 git: git clone https://github.com/my8100/logparser.git cd logparser python setup.py in...

05/28 11:16
72
0
PySpider 使用过程中的问题记录

问题记录 PyCurl的问题 安装时出现: Command python setup.py egg_info failed with error code 1 in /tmp/pip-build-vqUn8V/pycurl ImportError: pycurl: libcurl link-time ssl backend (...

10/10 16:32
6
0
如何快速搭建实用的爬虫管理平台

本次篇文章内容较多,涉及知识较广,读完需要大约 20 分钟,请读者耐心阅读。 前言 大多数企业都离不开爬虫,爬虫是获取数据的一种有效方式。对搜索引擎来说,爬虫不可或缺;对舆情公司来说,...

08/13 19:35
134
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部