Logkit 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Logkit 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Logkit 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
操作系统 跨平台
软件类型 开源软件
开源组织
地区 国产
投 递 者 foooy
适用人群 未知
收录时间 2017-11-21

软件简介

logkit是七牛Pandora开发的一个通用的日志收集工具,可以将不同数据源的数据方便的发送到Pandora进行数据分析,除了基本的数据发送功能,logkit还有容错、并发、监控、删除等功能。

logkit详细的文档可以参见WIKI页面。

优势

  • GO 语言编写,性能优良,资源消耗低,跨平台支持。
  • Web 支持,提供 页面 对数据收集、解析、发送过程可视化
  • 插件式架构,扩展性强,使用灵活,易于复用。
  • 定制化能力强,可以仅使用部分 logkit 包,以此定制专属收集工具。
  • 配置简单,易于上手,可通过 页面 进行操作管理。
  • 原生中文支持,没有汉化烦恼。
  • 功能全面,涵盖了包括 grok 解析、metric 收集、字段变化 (transform) 在内的多种开源软件特点。
  • 生态全面,数据发送到七牛的 Pandora 大数据平台支持包括时序数据库、日志检索以及压缩永久存储等多种数据落地方案。
  • 数据收集安全稳定,拥有磁盘队列、内存队列、错误重试、压缩传输、限速限流等多种机制,数据发送不重不漏。
  • 集群化,可以通过一个logkit 作为master 在 web 管理众多logkit,对整体集群进行管理。

支持的数据源

  • File:读取文件中的日志数据,包括csv格式的文件,kafka-rest日志文件,nginx日志文件等,并支持以grok的方式解析日志。
  • Elasticsearch:读取ElasticSearch中的数据。
  • MongoDB:读取MongoDB中的数据。
  • MySQL:读取MySQL中的数据。
  • MicroSoft SQL Server:读取Microsoft SQL Server中的数据。
  • Postgre SQL:读取 PostgreSQL 中的数据。
  • Kafka:读取Kafka中的数据。
  • Redis:读取Redis中的数据。
  • Socket:读取tcp\udp\unixsocket协议中的数据。
  • Http:作为 http 服务端,接受 POST 请求发送过来的数据。
  • Script:支持执行脚本,并获得执行结果中的数据。
  • Snmp:主动抓取 Snmp 服务中的数据。

工作方式

logkit本身支持多种数据源,并且可以同时发送多个数据源的数据到Pandora,每个数据源对应一个逻辑上的runner,一个runner负责一个数据源的数据推送,工作原理如下图所示

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(1) 发布并加入讨论🔥
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
npm node-fetch 安全漏洞
不加限制或调节的资源分配
node-fetch 2.6.1和3.0.0-beta版本中存在安全漏洞。该漏洞源于内容大小超过限制时,将永远不会抛出FetchError。
CVE-2020-15168 MPS-2020-12719
2022-08-08 18:22
Immer 安全漏洞
Immer是Immer社区的一个基于Javascript的状态管理库。。 Immer 所有版本存在安全漏洞,目前尚无此漏洞的相关信息,请随时关注CNNVD或厂商公告。
CVE-2020-28477 MPS-2021-0536
2022-08-08 18:22
nodejs 资源管理错误漏洞
拒绝服务
nodejs是是一个基于ChromeV8引擎的JavaScript运行环境通过对Chromev8引擎进行了封装以及使用事件驱动和非阻塞IO的应用让Javascript开发高性能的后台应用成为了可能。 nodejs-glob-parent 存在安全漏洞,该漏洞源于正则表达式拒绝服务。
CVE-2020-28469 MPS-2021-7827
2022-08-08 18:22
node-forge 存在原型污染漏洞
原型污染
node-forge 是网络传输、密码学、密码、PKI、消息摘要和各种实用程序的 JavaScript 实现。此软件包的受影响版本容易受到通过伪造的原型污染。
MPS-2022-13920
2022-08-08 18:22
Moment.js 路径遍历漏洞
路径遍历
Moment.js 是一个 JavaScript 日期库。用于解析、验证、操作和格式化日期。 Moment.js 的 npm 版本中处理目录遍历序列时对于输入验证不严格导致可以构造特制的 HTTP 请求读取系统上的任意文件。 攻击者可利用该漏洞访问系统敏感文件。
CVE-2022-24785 MPS-2022-3752
2022-08-08 18:22
SockJS 输入验证错误漏洞
对异常条件的处理不恰当
SockJS是一款浏览器JavaScript库。 SockJS 0.3.20之前版本中存在安全漏洞,该漏洞源于程序没有正确处理Upgrade标头。攻击者可利用该漏洞导致托管sockjs应用程序的容器崩溃。
CVE-2020-7693 MPS-2020-10001
2022-08-08 18:22
Npm Node-tar 后置链接漏洞
node-tar是一款用于文件压缩/解压缩的软件包。 Npm Node-tar 中存在后置链接漏洞,该漏洞源于产品未对特殊字符做有效验证。攻击者可通过该漏洞在其他路径创建恶意文件。
CVE-2021-37701 MPS-2021-28486
2022-08-08 18:22
chownr package竞争条件问题漏洞
检查时间与使用时间(TOCTOU)的竞争条件
Joyent Node.js是美国Joyent公司的一套建立在Google V8 JavaScript引擎之上的网络应用平台。该平台主要用于构建高度可伸缩的应用程序,以及编写能够处理数万条且同时连接到一个物理机的连接代码。chownr package是其中的一个文件所有权管理软件包。 chownr package 1.1.0之前版本中存在竞争条件问题漏洞。该漏洞源于网络系统或产品在运行过程中,并发代码需要互斥地访问共享资源时,对于并发访问的处理不当。目前没有详细的漏洞细节提供。
CVE-2017-18869 MPS-2020-8858
2022-08-08 18:22
Moment.js 正则拒绝服务漏洞
拒绝服务
Moment.js 是一个 JavaScript 日期库。用于解析、验证、操作和格式化日期。 Moment.js 在处理嵌套 rfc2822 注释内容时正则表达式执行时间不断的指数增大,导致服务不可用。 攻击者可利用该漏洞使目标服务停止响应甚至崩溃。
CVE-2022-31129 MPS-2022-11159
2022-08-08 18:22
serialize-javascript 代码问题漏洞
反序列化
Verizon serialize-javascript是美国威瑞森电信(Verizon)公司的一款支持将JavaScript序列化为 JSON超集的软件包。 serialize-javascript 3.1.0之前版本中存在代码问题漏洞。远程攻击者可借助index.js文件中的‘deleteFunctions’函数利用该漏洞注入任意代码。
CVE-2020-7660 MPS-2020-7976
2022-08-08 18:22
Indutny Elliptic 加密问题漏洞
密码算法不安全
Indutny Elliptic是Indutny个人开发者的一个基于Javascript为应用提供快速椭圆曲线加密的代码库。 Indutny Elliptic 存在安全漏洞,该漏洞源于没有检查来确认公钥。
CVE-2020-28498 MPS-2021-1176
2022-08-08 18:22
Async 安全漏洞
原型污染
Async是英国Caolan McMahon个人开发者的一个实用模块。用于使用异步 JavaScript。 Async 3.2.1 及之前版本存在安全漏洞,该漏洞源于 mapValues() 方法。攻击者可通过 mapValues() 方法获取权限。
CVE-2021-43138 MPS-2021-34434
2022-08-08 18:22
merge-deep 安全漏洞
merge-deep是开源的一个工具。用于递归合并 JavaScript 对象中的值。 merge-deep 3.0.3之前存在安全漏洞,该漏洞源于merge-deep库可能会被欺骗到覆盖Object的属性,merge-deep库可能会被欺骗到覆盖Object的属性。、
CVE-2021-26707 MPS-2021-7924
2022-08-08 18:22
mem 存在拒绝服务漏洞
拒绝服务
mem 是一种优化,用于通过缓存具有相同输入的调用结果来加速连续函数调用。此软件包的受影响版本容易受到拒绝服务 (DoS) 的攻击。
MPS-2022-12990
2022-08-08 18:22
NPM url-parse 安全漏洞
通过用户控制密钥绕过授权机制
Url-Parse是一个跨 Node.js 和浏览器环境无缝工作的小型 Url 解析器。 NPM url-parse 存在安全漏洞,该漏洞源于在1.5.6之前的NPM url-parse中,通过用户控制的密钥绕过授权。
CVE-2022-0512 MPS-2022-3327
2022-08-08 18:22
url-parse 安全漏洞
通过用户控制密钥绕过授权机制
Url-Parse是一个跨 Node.js 和浏览器环境无缝工作的小型 Url 解析器。 url-parse 1.5.7之前版本存在安全漏洞,攻击者可利用该漏洞通过用户控制的密钥绕过授权。
CVE-2022-0639 MPS-2022-4297
2022-08-08 18:22
mixin-deep 参数注入漏洞
参数注入或修改
mixin-deep是一款能够将对象属性混合到第一个对象中的模块。 mixin-deep 1.3.2之前版本和2.0.0版本中存在参数注入漏洞。该漏洞源于外部输入数据构造命令参数的过程中,网络系统或产品未正确过滤参数中的特殊字符。攻击者可利用该漏洞执行非法命令。
CVE-2019-10746 MPS-2019-10507
2022-08-08 18:22
handlebars 安全漏洞
handlebars是一款语义化的Web模板系统。 handlebars 4.7.7版本之前存在安全漏洞,该漏洞源于在选择某些编译选项来编译来自不受信任的源的模板时,handlebars容易受到远程代码执行(Remote Code Execution, RCE)的攻击。
CVE-2021-23369 MPS-2021-4548
2022-08-08 18:22
css-what存在未明漏洞
css-what是一个CSS选择器解析器。 css-what 5.0.1之前版本存在安全漏洞,该漏洞源于css-what包并不能确保属性解析具有相对于输入大小的线性时间复杂度。目前没有详细漏洞细节提供。
CVE-2021-33587 MPS-2021-7397
2022-08-08 18:22
lodash 存在拒绝服务漏洞
拒绝服务
lodash 是一个现代 JavaScript 实用程序库,提供模块化、性能和附加功能。由于对 CVE-2020-8203 的修复不完整,此软件包的受影响版本容易受到 zipObjectDeep 中的原型污染。
MPS-2022-13841
2022-08-08 18:22
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
1 评论
18 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部