Logstash 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Logstash 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Logstash 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Logstash 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Logstash 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java Ruby
操作系统 跨平台
软件类型 开源软件
开发厂商
地区 不详
提 交 者 红薯
适用人群 未知
收录时间 2012-03-15

软件简介

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。

Logstash 现在是 ElasticSearch 家族成员之一。

logstash screenshot

展开阅读全文

代码

评论 (3)

加载中
这个是开源的吗?许可协议还是私有的呀?
2018/12/12 15:45
回复
举报
没啥说的 Logstash
2012/04/18 05:33
回复
举报
2014/03/19 09:08
回复
举报
更多评论
2020/11/13 10:27

Logstash 7.10.0 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.10.0 已正式发布,该版本更新内容如下: 新功能和增强功能 Architecture-specific artifacts with bundled JDK Logstash 7.10.0 提供了新的特定架构下载和安装选项,其中包括捆...

0
3
2020/10/24 22:59

Logstash 7.9.3 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.9.3 已正式发布,该版本更新内容如下: Notable issues fixed Pipeline execution 修复了 flushing 和 shutdown:修复在终止管道之前因 worker error 而停止输入的问题#1233 ...

1
6
2020/09/29 07:10

Logstash 7.9.2 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.9.2 已正式发布,该版本更新内容如下: Notable issues fixed 多个管道的秘密存储线程安全问题 App Search 输出启动失败 兼容性声明:Logstash 和 JDK 15。Logstash 尚未与 DK...

6
6
2020/09/05 07:53

Logstash 7.9.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.9.1 已正式发布,该版本更新内容如下: Notable issues fixed 修复 Monitoring 和 Central Management 的 Docker 镜像配置中的问题。 Pipeline execution 修复了 flushing 和 ...

0
1
发表于服务端专区
2020/08/19 07:53

Logstash 7.9.0 发布,支持 ECS、arm64,提升管道启动性能

Logstash 7.9.0 已经发布,此版本带来了许多新特性与功能增强,其中亮点包括: 此版本 Logstash 支持弹性通用架构(Elastic Common Schema),也就是 ECS。使用 7.9,可以配置 Elasticsearch 输出插件来管理与 ECS 兼容的索引模板。Elasticsearch 输出插件中的 ECS 兼容性设置可完成此目的。 继续扩展了对 Elasticsearc...

0
2
2020/07/28 07:22

Logstash 7.8.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.8.1 已正式发布,该版本更新内容如下: 性能改进和 bug 修复 修复了pipeline compilation 期间的性能回归问题 修复了多个 pipeline shutdown 和 reloadingedit 的问题 Beats/...

0
1
2020/06/25 07:57

Logstash 7.8.0 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.8.0 已正式发布,该版本更新内容如下: 新功能和改进 Expanded JDK ecosystem 改进了测试脚本基础结构,以接受主机中存在的特定 Java 开发工具包(JDK)。更改包括将 JDK 主目...

1
6
2020/05/17 07:39

Logstash 7.7.0 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.7.0 已正式发布,该版本更新内容如下: 新功能和改进 Improving Logging 继过去几个版本中改进了日志记录功能之后,日志消息已得到扩展,可以更准确地显示有关插件的信息。这些...

0
5
2020/03/24 07:45

Logstash 7.6.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.6.1 已正式发布,该版本更新内容如下: Logstash 7.6.1 发行说明 [DOC]返工 ls netflow 模块弃用通知#11600 [DOC]阐明 7.6 的内部收集器弃用状态#11607 [DOC]修复了用于监控...

1
8
2020/01/27 07:40

Logstash 7.5.2 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.5.2 已正式发布,该版本更新内容如下: Logstash 7.5.1 发行说明 修复:Java Execution -通过将类缓存从 ComputeStepSyntaxElement 移到 CompiledPipeline,提高 Logstash 启动...

1
8
2019/12/23 06:50

Logstash 7.5.1 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.5.1 已正式发布,该版本更新内容如下: Logstash 7.5.1 发行说明 通过包含相关 DLQ 的路径来提高报告完整 DLQ 时日志消息的实用性 #11280 修复:消除了管道引用通过脱机插件包...

0
8
2019/12/04 06:57

Logstash 7.5.0 发布,开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.5.0 已正式发布,该版本更新内容如下: Logstash 7.5.0发行说明 为多个管道提供所有设置#11076 在 Pipelines.yml 文件中支持替换#11081 每个管道提供日志附加程序#11108 在...

0
17
2018/11/15 08:49

Logstash 6.5.0 发布,开源服务端数据处理流程

Logstash 6.5.0 已发布,Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。 更新内容: BUGFIX: Count unused space in page files towards current PQ size #10105 BUGFIX: Handle equality checks on list and map types in Java execution #...

0
9
2018/10/12 14:49

Logstash 6.4.2 发布,开源服务端数据处理流程

Logstash 6.4.2 发布了,Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。 更新亮点 Make cgroups support more robust and provide the override similar to ES (#10012). Plugins Cef Codec Added reverse_mapping option, which can be use...

0
5
2018/09/19 14:29

Logstash 6.4.1 发布,开源服务端数据处理流程

Logstash 6.4.1 已发布,Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的 “存储库” 中。 更新亮点: Support ssl verification mode in monitoring and management (#9866). Extract kibana and elasticsearch client ssl config (#9945). Avoid race con...

0
4
2018/08/24 11:05

Logstash 6.4.0 发布,开源服务端数据处理流程

Logstash 6.4.0 已发布,包含一些修复和改进: Adds the Azure Module for integrating Azure activity logs and SQL diagnostic logs with the Elastic Stack. Adds the azure_event_hubs input plugin as a default plugin. Adds support for port customization in cloud id (#9877). Adds opt-in strict-mode for f...

1
3
2018/07/25 09:27

Logstash 6.3.2 发布,开源服务端数据处理流程

Logstash 6.3.2 已发布,包含一些修复和改进: Fixes a dependency issue with the Guava library (Issue 9836). Fixes issue when launching logstash from a path that contains white spaces (Issue 9832). Fixes issue with non-unicode event keys in serialization (Issue 9821). Fixes jruby-openssl conflict a...

0
8
2018/04/18 09:18

Logstash 6.2.4 发布,开源服务端数据处理流程

Logstash 6.2.4 已发布,带来了大量修复和改进: Fixed an issue where events passing through the persistent queue had the contents of string type fields corrupted for values containing non-ASCII characters. The solution involved serializing the RubyString as Java String UTF-16 encoded #9167 Fixed s...

2
4
2018/03/22 23:56

Logstash 6.2.3 发布,开源服务端数据处理流程

Logstash 6.2.3 已发布,本次更新 core 没有任何变更,主要是插件方面的改变: Plugins Fluent codec Added ability to encode tags as fluent forward protocol tags Netflow codec Improved decoding performance of ASA ACL ids, MAC addresses and IPv4 addresses KV Filter Added option to split fields and valu...

0
4
2018/02/11 15:43

Logstash 6.2.1 发布,开源服务端数据处理流程

Logstash 6.2.1 已发布,Logstash 是一个开源的服务端数据处理流程,可同时从多个源中获取数据,将其转换,然后将其发送到“收藏”中,目前拥有超过 200 个插件。它能集中、转换和藏匿您的数据。 同样的,暂未发现 Logstash 6.2.1 更新内容,点此保持关注。 不妨看看 6.2.0 的更新说明: Added support to protect sensi...

0
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/03/26 23:17

Logstash

Logstash数据处理工具 具有实时渠道能力的数据收集引擎,包含输入、过滤、输出模块,一般在过滤模块中做日志格式化的解析工作 日志信息-->logstsh-->json形式 mysql\ hbase\ ES-->logstsh(select * from user)-->ES logstsh架构 比较耗费性能 搜集--->过滤--->处理   Grok:匹配需要收集的字段信息   Date:处理日期类...

0
0
2018/07/17 17:11

logstash

logstash

0
0
发表了博客
2018/08/11 18:40

Logstash

Logstash介绍 Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。 集中、转换和存储你的数据 Logstash是一个开源的服务器端数据处理管道,可以同时从多个数据源获取数据,并对其进行转换,然后将其发送到你最喜欢的“存储”。(...

0
0
发表于服务端专区
2018/08/28 09:12

logstash

<dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>4.11</version> </dependency> <appender name="socketAppender" class="......

0
0
发表于服务端专区
2018/08/31 15:24

Logstash-安装logstash-filter-multiline

ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题 github地址:https://github.com/logstash-plugins/logstas...

0
2
发表了博客
2019/12/26 15:56

Logstash报错:Logstash could not be started because there is already another instance using the co...

错误一: 1、错误提示: Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties [2019-12-26T07:31:29,884][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified [2019-12-26T07:31:30,007][FAT...

0
0
发表了博客
2019/04/24 16:50

Logstash学习之路(一)Logstash的安装

一、Logstash简介 Logstash 是一个实时数据收集引擎,可收集各类型数据并对其进行分析,过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。它可以实现多样化的数据源数据全量或增量传输,数据标准格式处理,数据格式化输出等的功能,常用于日志处理。工作流程分为三个阶段:   (1)input数据输入阶段,可...

0
0
发表了博客
2019/02/26 16:31

logstash使用

安装 安装很简单,只需要去官网http://www.elastic.co/cn/products/logstash 下载对应版本的安装包,解压: tar -zxvf logstash-5.4.3.gz 然后对logstash目录下执行: bin/logstash -e 'input { stdin { } } output { stdout {} }' 会出现如下界面 配置文件 logstash也可以通过制定配置文件的形式启动 bin/logstash -f ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2014/11/20 20:19

如何使logstash远程监控另一台windows上的日志文件变化

因为业务上的原因,现在想使用logstash来远程监控一台windows上面的日志变化(windows是台UAT部署机,不想装别的软件),logstash的shipper.conf怎么写?主要是选用哪个input的插件及配置大概怎么写,用file的话,好像得把logstash在那台UAT上装一次才能监控文件夹的变化...求大神指教..感激不尽...

3
0
2019/10/04 22:58

logstash 7.3.2 导入数据时出现夏令时错误怎么办?

[2019-10-04T17:08:53,259][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::OrgJodaTime::IllegalInstantException:Illegal instant due to time zone offset transition (daylight savings time 'gap'):1990-04-15T00:00:00.000 (Asia/Shanghai...

1
0
发表于服务端专区
2019/05/31 10:39

关于filebeat 采集文件到logstash的一些问题

@Axin-linux 你好,想跟你请教个问题:用filebeat采集文件到logstash怎么保持原文件格式,logstash按照原文件名存入到本地文件夹,查了好多资料,好像没有这样的配置介绍

3
0
发表于服务端专区
2019/04/26 16:47

es+mysql,想问一下怎么实现数据同步的。是在代码里面同时插入es和mysql还是用logstash来同步?还是binlog

用了logstash,但是同步的速度太慢

6
0
发表于开发技能专区
2019/04/19 16:50

logstash-input-jdbc 无法同步

[root@local14 conf.d]# cat /etc/logstash/conf.d/logstash-mysql.conf # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input {   stdin {   }   jdbc {     jdbc_connection_string => "jdbc:mysql://192.168.56.101:3306/test"     jdbc_user => "root"...

3
0
发表于服务端专区
2018/06/20 17:25

使用ELK做日志采集有哪些坑,大家都用这个吗?

如题。看着网上都吹ELK好,而我们公司现在查个日志非常不方便,生产没权限,有的话也难以查找过滤,又没有提前预警,报表分析之类的。 我想问下这个ELK有什么坑吗,我司咋不用这个呢,哎!

8
0
发表于AI & 大数据专区
2018/02/06 14:37

logstash同步mysql的数据到elasticsearch时重复

在用logstash将mysql数据同步到es的时候出现了数据重复的问题不知道该怎么去重了,其中attachments/tag/types这三个属性都是数组 大家帮忙看一下: 其中logstash启动文件如下: input { jdbc { jdbc_driver_library => "/usr/share/logstash-5.6.2/config/mysql-connector-java-5.1.45.jar" jdbc_driver_class...

1
2
发表于开发技能专区
2018/02/05 16:10

通过logstash将MySQL中的数据同步到ElasticSearch的时候如何处理关联关系?

通过logstash将MySQL中的数据同步到ElasticSearch的时候如何处理关联关系? 比如我有一个user对象结构是这样的: 这个数据是通过三张表来查询的:用户表t_user,角色表t_role,还有关联表t_user_role, 这种情况如何把这个带关联的结构查出来呢?

1
0
发表了问答
2016/09/13 16:38

elk日志如何实现规则报警

问下elk如何在前段web(kibana)中设置规则 来进行邮件的报警,有插件可以实现吗? ps:我说的不是用脚本来哦,比如说在kibana界面配置规则来针对刷新频率,网页404等进行邮件报警。可能实现,求God!

2
0
发表了问答
2012/04/13 19:06

LogStash在HP下运行

我在HP下运行logstash提示 NotImplementedError: stat.st_dev unsupported or native support failed to load dev_major at org/jruby/RubyFileStat.java:388 _discover_file at file:/data03/AIS_HOME/framecs/logstash/logstash-1.1.0-monolithic.jar!/gems/filewatch-0.3.2/lib/filewatch/watch.rb:133 each at org/j...

4
0
发表了问答
2016/05/03 18:27

logstash启动报错: stat.st_dev unsupported

环境如下: OS:Red Hat Enterprise Linux Server release 5.8 (Tikanga) 内存:8G java version "1.8.0_92" logstash 2.3.2 elasticsearch-2.3.2,已经正常启动 配置文件 logstash.conf input { file { path => "/var/log/messages" start_position => "beginning" } } filter { grok { match => { "message" => "%{CO...

13
0
发表了问答
2016/10/19 14:37

logstash中更新数据到es的groovy脚本中如何使用参数呢?当script type是file的时候

@路小磊 你好,想跟你请教个问题:拜读过您的elk权威指南译本,最近碰到一个问题,期望得到您的帮助,是这样的: 我使用logstash插入和更新日志数据到es,更新的时候使用了groovy动态脚本,最近遇到两次永久代内存溢出的异常,初步观察和判断是因为动态脚本导致内存泄漏,因此想更改script type为file,这样脚本只会编译...

3
0
发表了问答
2017/06/02 11:30

Logstash中怎么根据数据内容做多个output

比方说,数据用#分割 abc#1#测试数据1 abc#2#测试数据2 我在output里需要完成一个事情,在输出的时候,数据的输出目录需要根据第二个字段来确定,数据1写在文件1里,数据2写在文件2里

3
0
发表了问答
2017/04/13 10:01

logstash从2.4.0版本替换成5.3.0版本的话需要修改哪些配置才能正常运作?

logstash从2.4.0版本替换成5.3.0版本的话需要修改哪些配置才能正常运作? 直接把2.4.0版本替换成5.3.0版本出了些问题,不能正常使用了,进程都起不来

1
0
发表了问答
2017/03/15 16:14

logstash gork 失败的数据 不发送给elasticsearch 该怎么些配置

input { file { path => "/log/api.log" } } filter { grok { match => {"message"=> "%{TIMESTAMP_ISO8601}} remove_field => ["message"] } if "_grokparsefailure" in [tags] { drop {} } } output { if "_grokparsefailure" not in [tags]{ elasticsearch { hosts => ["*.*.*.*:9200"] index => "indexdemo" } stdou...

1
0
发表了问答
2017/03/06 22:42

ELK中logstash收集项目日志时,如何只收集ERROR级别日志

6
0
发表了问答
2016/12/16 11:36

日志升级到log4j2输出到Logstash就报错

项目里日志升级到log4j2 后输出日志到日志系统就不行了,求大神指点一下 log4j2.xml配置: <configuration status="info">    <Socket name="socket" host="10.1.21.1" port="4567" >    <SerializedLayout />    </Socket>   </appenders>   <loggers>     <logger name="com.test" level="info"></logger>   ...

3
0
2017/02/10 08:24

tomcat发送日志到logstash

有什么办法让tomcat直接将catalina.out日志以json的形式直接发送给logstash? 不依赖filebeat等 目前java程序日志通过slf4j直接发送到logstash是可行的 用的下面的办法 https://github.com/logstash/logstash-logback-encoder 求老司机指点...

5
0
发表了问答
2015/03/04 10:13

kibana+logstash+elasticsearch收集日志,kibana里无法对查询结果排序

kibana版本是4.0,没有办法对搜索结果进行排序,如图: 鼠标移到Time那一栏会显示“sort by Time”,但是点击没有反应,也没有排序 在github上求助,有人说是因为elasticsearch那边没有做好索引,不太明白如何加上索引?这个文档结构是logstash传输日志到elasticsearch时elasticsearch动态创建的。...

1
0
发表了问答
2016/05/30 13:38

logstash怎么收集logback产生的日志

目前正在集成elk,通过logstash收集logback产生的日志,elk已搭建好部署在同一台机器(我个人pc) 下面是logstash的配置作为服务通过tcp的方式收集日志 通过telnet的方式 能够 收集到数据 传给es 下面是logback的配置,logstash-logback-encoder已经添加到工程 下面是测试 程序运行后控制台可以输出日志 ,但是logstash并...

7
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
3 评论
633 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部