日志采集工具 falcon-log-agent

日志采集工具 falcon-log-agent

MIT
Google Go 查看源码»
Linux
滴滴出行
2019-02-21
段段段落

falcon-log-agent 简介

falcon-log-agent 是一个开源版的日志采集工具,旨在从流式的日志中抓取、统计日志中的特征信息。

获取的特征信息,与开源版 Open-Falcon 监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。

特性

  • 准确可依赖:历经滴滴线上业务近一年考验,统计准确性高。

  • 性能高、资源消耗可控:性能优化程度高,单核单策略可支撑日志分析:20W条/秒

  • 接入成本低:外挂式采集,只需要标准化日志即可;输出数据直接对接 open-falcon。

附:滴滴公司 agent 升级前后资源占用对比图 资源对比图

什么是日志采集

日志采集,是一种外挂式的采集。通过读取进程打印的日志,来进行监控数据的采集与汇聚计算。

falcon-log-agent如何工作

本 agent 即日志采集场景下的实时计算。实时读取文件内容,实时计算,将计算结果直接推送至falcon。

限定条件

  • 要求日志必须包含时间:不包含时间的日志,只能根据当前时间统计日志条数,结果非常不准确。

  • 不支持文件软链

  • 日志时间必须有序:为了应对日志延迟落盘等,agent会根据日志的时间来判断某一周期的数据是否采集完成,如果日志时间顺序错乱,可能导致采集不准。

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Open-Falcon监控系统安装和使用

0. 运维监控工具选择 1. 安装脚本(主服务) 常规安装环境搭建太复杂, dashboard安装碰到python依赖不容易解决, 直接使用docker安装, 这里总结除了一个安装 shell script, 如下: #!/bin/sh ## ...

2018/12/26 18:19
72
0
golang toolkits包的使用方法介绍

在查看 open-falcon 项目源码时,经常会看到其引用了一个类库 https://github.com/toolkits ,而仔细查看该类库的作者为秦晓辉(UlricQin)--- 原Open-Falcon主程,现滴滴云运维负责人 。所以...

2018/12/18 21:50
50
0
golang toolkits包的使用方法介绍

在查看 open-falcon 项目源码时,经常会看到其引用了一个类库 https://github.com/toolkits ,而仔细查看该类库的作者为秦晓辉(UlricQin)--- 原Open-Falcon主程,现滴滴云运维负责人 。所以...

2018/12/18 11:12
17
0
运维监控工具选择

1. 参考资料 详解十三款运维监控工具 (2017年08月17日) 开源IT监控系统对比 (2014年9月15日) 2. 选择结果-- open-falcon 理由 国内开源(小米) 文档完整 插件扩展 开源背景决定其更考虑互联网...

2018/12/24 11:40
22
0
开源工具推荐Open-Falcon

以下来源于网络 前言 监控系统,可以从运营级别(基本配置即可),以及应用级别(二次开发,通过端口进行日志上报),对服务器、操作系统、中间件、应用进行全面的监控,及报警,对我们的系统...

2018/09/06 14:45
96
0
MongoDB的sharding功能

MongoDB的auto-sharding功能是指mongodb通过mongos自动建立一个水平扩展的数据库集群系统,将数据库分表存储在sharding的各个节点上。 一个mongodb集群包括一些shards(包括一些mongod进程)...

2013/09/09 21:40
177
0
linux系统管理及安全管理——systemctl/systemd

参考: systemctl基本操作命令:https://my.oschina.net/u/3497124/blog/1439293 基本用法: https://linux.cn/article-5926-1.html 配置说明:https://www.cnblogs.com/jym1/p/8072964.html...

2018/03/11 15:45
118
0
数据库监控——mymon

mymon(MySQL-Monitor) 是Open-Falcon用来监控MySQL数据库运行状态的一个插件,采集包括global status, global variables, slave status以及innodb status等MySQL运行状态信息。 安装和配置(...

2018/09/17 15:30
219
0
MySQL数据库存储引擎和分支现状

(本文于2010.10.01发表在《草根》杂志第四期,LAMP交流超级群(500人):106382633) 在MySQL经历了2008年Sun的收购和2009年Oracle收购Sun的过程中,基本处于停滞发展的情况,在可以预见的未...

2010/11/08 16:20
856
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部