爬虫管理平台 Crawlab v0.4.10 发布

2020年04月21日

前言

本次更新包括几个部分:

  1. 日志集中管理
  2. 自动安装依赖
  3. 开放 API
  4. Web Hook
  5. 自动生成结果集

更新日志

功能 / 优化

  • 优化日志管理. 集中化管理日志,储存在 MongoDB,减少对 PubSub 的依赖,允许日志异常检测.
  • 自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖.
  • API Token. 允许用户生成 API Token,并利用它们来集成到自己的系统中.
  • Web Hook. 当任务开始或结束时,触发 Web Hook http 请求到预定义好的 URL.
  • 自动生成结果集. 如果没有设置,自动设置结果集为 results_<spider_name>.
  • 优化项目列表. 项目列表中不展示 "No Project".
  • 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
  • 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.

Bug 修复

  • 无法注册#670
  • 爬虫定时任务标签 Cron 表达式显示秒#678
  • 爬虫每日数据缺失#684
  • 结果数量未即时更新#689

产品规划

  • 结果展示
    • 支持其他数据库
  • 爬虫
    • 支持容器爬虫
    • 长任务爬虫支持
  • 可配置爬虫
    • 可配置爬虫支持 Splash
    • 可配置爬虫支持 CrawlSpider
    • 可配置爬虫支持正则表达式字段
  • 定时任务
    • 日历展示
  • 服务器
    • 支持终端操作 Docker 镜像
  • SDK
    • 更多命令支持
  • 全局
    • 热更新

参考

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。

展开阅读全文
20 收藏
分享
加载中
更多评论
0 评论
20 收藏
分享
返回顶部
顶部