logpipe 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
logpipe 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 LGPL
开发语言 C/C++ 查看源码 »
操作系统 Linux
软件类型 开源软件
开发厂商
地区 国产
提 交 者 calvinwilliams
适用人群 未知
收录时间 2017-12-20

软件简介

logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。

logpipe概念朴实、使用方便、配置简练,没有如sink等一大堆新名词。

logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor),派生一个工作进程(worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件,进入事件循环,任一input插件产生消息后输出给所有output插件。

logpipe自带了4个插件(今后将开发更多插件),分别是:

  • logpipe-input-file 用inotify异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大小),立即捕获文件名和读取文件追加数据。该插件拥有文件大小转档功能,用以替代应用日志库对应功能,提高应用日志库写日志性能。该插件支持数据压缩。

  • logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。

  • logpipe-input-tcp 创建TCP服务侦听端,接收客户端连接,一旦客户端连接上有新消息到来,立即读取。

  • logpipe-output-tcp 创建TCP客户端,连接服务端,一旦输入插件有消息产生后输出到该连接。

使用者可根据自身需求,按照插件开发规范,开发定制插件,如IBMMQ输入插件、HDFS输出插件等。

logpipe配置采用JSON格式,层次分明,编写简洁,如示例:

{
	"log" : 
	{
		"log_file" : "/tmp/logpipe_case1_collector.log" ,
		"log_level" : "INFO"
	} ,
	
	"inputs" : 
	[
		{ "plugin":"so/logpipe-input-file.so" , "path":"/home/calvin/log" , "compress_algorithm":"deflate" }
	] ,
	
	"outputs" : 
	[
		{ "plugin":"so/logpipe-output-tcp.so" , "ip":"127.0.0.1" , "port":10101 }
	]
}
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
2018/11/18 23:05

高性能日志采集工具 logpipe 更新至 1.0.9 版本

1.0.9 2018-11-15 calvin * 插件logpipe-output-ingeek的服务端主机配置数量扩大到32个 1.0.8 2018-11-08 calvin * 清理了不少遗留代码 * 其它几个遗漏未改select的地方也改用poll了 * 新增分解日志行发送插件代码模板logpipe-output-linemode-template.c 1.0.7 2018-10-10 calvin * 解决了logpipe-output-ingeek.so使用...

1
19
发表于服务端专区
2018/02/27 21:46

日志收集工具 logpipe 更新至 0.16.1 版本

0.16.1 2018-01-16 calvin * 修正了插件logpipe-input-file的转档时重复读取问题 0.16.0 2018-01-15 calvin * 优化了插件logpipe-output-ek性能,性能提高了一倍 * 插件logpipe-input-file新增配置参数max_append_count,均匀处理所有文件增长事件 * 扩大了日志缓冲区 0.15.0 2018-01-03 calvin * 插件logpipe-output-tc...

3
16
发表了资讯
2017/12/20 11:09

日志收集工具 logpipe 更新至 0.9.0 版本

日志收集工具 logpipe 0.9.0 已发布。更新如下: 0.9.0 2017-12-19 calvin     * logpipe日志自动补充后缀".(24小时制钟点)",每天循环 0.8.0 2017-12-18 calvin     * 再次修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题     * 输出描述字不可用时及时通知插件 0.7.0 2017-12-...

15
31
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于服务端专区
2018/05/02 19:33

java后端系统架构,解决方案合集

前言碎语 本文主要记录了博主从业以来在系统架构及相关解决方案方面的选型项目,会不定期更新,同时也欢迎大家补充 缓存框架: spring cache:http://spring.io/guides/gs/caching/ jetcache :https://github.com/alibaba/jetcache redis相关 : redisson :https://github.com/redisson/redisson jedis :https://git...

0
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于运维专区
2019/07/16 16:03

django-logpipe有大神使用过么。请求大神指导

最近公司需要汇总一些数据信息,需要通过kafka导入到django的数据库,在网上看了一下django-logpipe,但是官方文档写的不是很详细。所以请求大神,给小弟指导一下,详细的写法!

1
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
36 收藏
分享
返回顶部
顶部