ScrapydWeb 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
ScrapydWeb 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: GPL-3.0
操作系统: 跨平台
收录时间: 2019-08-20
提 交 者: h4cd

ScrapydWeb 是一个用于 Scrapyd 集群管理的 web 应用,支持 Scrapy 日志分析和可视化。

特性:

  • Scrapyd 集群管理

    • 支持所有 Scrapyd JSON API
    • 支持通过分组和过滤来选择若干个节点
    • 一次操作, 批量执行
  • Scrapy 日志分析

    • 数据统计
    • 进度可视化
    • 日志分类
  • 增强功能

    • 自动打包项目
    • 集成 LogParser
    • 定时器任务
    • 监控和警报
    • 移动端 UI
    • web UI 支持基本身份认证

框架依赖:

  • 前端
    • Element
    • ECharts
  • 后端
    • Flask
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

ScrapydWeb 的相关博客

scrapydWeb安装和使用

1. 安装:pip install scrapydweb 2. 启动:scrapydweb 第一次执行,当前目录会生产配置文件:scrapydweb_settings_v8.py 配置...

笔记-爬虫部署及运行工具-scrapydweb

笔记-爬虫部署及运行工具-scrapydweb 1. 简介 scrapyd是爬虫部署工具,但它的ui比较简单,使用不是很方便。 scrapydweb以scr...

scrapydweb的初步使用(管理分布式爬虫)

https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md 一.安装配置     1、请先确保所有主机都已经安装...

scrapydweb----高效地部署和监控分布式爬虫项目

需求分析 初级用户 只有一台开发主机 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目,以及通过 Scrapyd JSON API 来控...

一个用于定期增量式解析 Scrapy 爬虫日志的 Python 库,配合 ScrapydWeb 使用可实现爬 ...

GitHub 开源 https://github.com/my8100/logparser 安装 通过 pip: pip install logparser 通过 git: git clone https://git...

Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫,名称有点套娃

本篇博客和上一篇内容呈连续性,注意哦~ scrapydweb模块安装 上篇博客中提及到了一款美化scrapyd的模块,名字叫做scrapydweb今...

如何免费创建云端爬虫集群

在线体验 scrapydweb.herokuapp.com 网络拓扑图 注册帐号 Heroku 访问 heroku.com 注册免费账号(注册页面需要调用 google r...

爬虫管理平台以及wordpress本地搭建

爬虫管理平台以及wordpress本地搭建 学习目标: 各爬虫管理平台了解 scrapydweb gerapy crawlab 各爬虫管理平台的本地搭建 Wi...

时隔五年,Scrapyd 终于原生支持 basic auth

Issue in 2014 scrapy/scrapyd/issues/43 Pull request in 2019 scrapy/scrapyd/pull/326 试用 1. 安装: pip install -U git...

PySpider 使用过程中的问题记录

问题记录 PyCurl的问题 安装时出现: Command python setup.py egg_info failed with error code 1 in /tmp/pip-build-vqUn8V...

ScrapydWeb 的相关问答

还没有任何问答,马上提问

评论 (2)

加载中
mark一下
2019/09/03 10:30
回复
举报
好东西
2019/09/03 10:22
回复
举报
更多评论
2 评论
89 收藏
分享
返回顶部
顶部