Apache Flume 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Flume 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Flume 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2012-07-28

软件简介

Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。

Agent component diagram

展开阅读全文

评论 (2)

加载中
2016/04/12 17:58
回复
举报
有哪些IT公司是使用Flume的? #Apache Flume#
2016/07/26 14:55
回复
举报
更多评论
2019/01/10 07:30

Apache Flume 1.9.0 发布,日志服务器

Apache Flume 1.9.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如下: New Feature [FLUME-2071] - Flume Context doesn’t support float or double configuration values. [FLUME-2442] - Need an alternative to providing clear text passwords in flume config [FLUME-3142] - Adding HBase2 sin...

4
20
发表了资讯
2016/10/19 00:00

Apache Flume 1.7.0 发布,日志服务器

Apache Flume 1.7.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如下: 新特性 [FLUME-2498] - Implement Taildir Source 改进 [FLUME-1899] - Make SpoolDir work with Sub-Directories [FLUME-2526] - Build flume by jdk 7 in default [FLUME-2628] - Add an optional parameter to specify the expe...

3
16
发表了资讯
2015/06/03 00:00

Apache Flume 1.6.0 发布,日志服务器

Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新内容: ** Bug 修复 [FLUME-1793] - Unit test TestElasticSearchLogStashEventSerializer fails with IBM JDK [FLUME-1934] - Spoolingdir source exception when reading multiple zero size files [FLUME-2024] - Add ExecSource flush timeout to Flume User Guide [FLUME-2126] - Problem in elasticsearch sink when the event...

2
26
发表了资讯
2014/11/20 00:00

Apache Flume 1.5.2 发布,日志服务器

Apache Flume 1.5.2 发布,此版本现已提供下载:http://flume.apache.org/download.html。 主要更新内容如下: [FLUME-2547] - Removing SSLv2Hello causes Java 6 clients to break [FLUME-2548] - Enable SSLv2Hello for Avro Source and NettyAvroRpcClient [FLUME-2549] - Enable SSLv2Hello for HttpSource [FLUME-2551] - src tarball 支持 dev-support [FLUME-2441] - Unit test TestHTTPSource.java failed with IBM J...

5
28
发表了资讯
2014/05/22 00:00

Apache Flume 1.5.0 发布,日志服务器

Apache Flume 1.5.0 发布,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 改进内容包括: ** New Feature [FLUME-1227] - Introduce some sort of SpillableChannel [FLUME-2056] - Allow SpoolDir to pass just the filename that is the source of an event [FLUME-2071] - Flume Context doesn’t support float or doub...

4
32
发表了资讯
2013/01/04 00:00

Apache Flume 1.3.1 发布,日志服务器

Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 Apache Flume 1.3.1 发布了,详细改进内容有: ** Bug [FLUME-1761] - FileChannel can NPE when log metadata file is empty [FLUME-1763] - FileChannel Checkpoints should not be done without free space [FLUME-1773] - File Channel worker thread should not be daemo...

1
25
发表了资讯
2012/12/05 00:00

Apache Flume 1.3.0 发布,分布式日志服务器

Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 Flume 1.3.0 版本包含如下新特性: [FLUME-1199] - Add HTTP Post Source [FLUME-1371] - ElasticSearch Sink [FLUME-1382] - Flume adopt message from existing local Scribe [FLUME-1385] - Add a multiport syslog source [FLUME-1424] - File Channel should support en...

0
15
发表了资讯
2012/07/28 00:00

Apache Flume 1.2.0 发布,集中式日志服务

Apache Flume 1.2.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 Apache Flume 1.2.0 包含如下新特性: [FLUME-896] - Implement a Durable Memory Channel [FLUME-971] - Create developer guide for Flume NG [FLUME-988] - Client SDK [FLUME-1085] - Implement a durable FileChannel [FLUME-1157] - Implem...

0
17
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2015/10/27 13:46

Flume-1.6.0 源码分析0:环境准备

要想知道flume,请看http://www.oschina.net/p/apache+flume 官方文档: http://flume.apache.org/FlumeUserGuide.html 1 下载源码 http://flume.apache.org/download.html 或者 http://archive.apache.org/dist/flume/ 请自己下载源码包,解压缩后,放入eclipse工程 当前分析版本 1.6.0 ===================================== 2尝试编译 mvn compile 出现无法从maven.twttr.com下载jar包的情况 解决方案:在pom.xml里加入 <rep...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于软件架构专区
2018/12/13 16:53

flume收集异常

数据采集完后就会出现 Writer callback called,下次有新的数据产生后也不会收集了

2
0
2018/01/01 14:19

既有服务器上安装flume的JDK版本问题。

目前生产上跑着的应用使用的是JDK1.6(无法升级,各种原因)。现在想使用flume收集日志。 我看flume 要求jdk1.7以上,如果我再在服务器上安装一个jdk1.8 然后flume自己的配置文件单独制定这个jdk可以么? 也就是说原有系统使用1.6不变,然后flume使用1.8。 保证flume可以使用。

5
0
发表了问答
2017/06/02 11:30

Logstash中怎么根据数据内容做多个output

比方说,数据用#分割 abc#1#测试数据1 abc#2#测试数据2 我在output里需要完成一个事情,在输出的时候,数据的输出目录需要根据第二个字段来确定,数据1写在文件1里,数据2写在文件2里

3
0
发表了问答
2016/09/11 11:00

Flume 实时收集nginx的日志放到hadoop去

agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=exec agent1.sources.source1.command=tail -F /usr/local/nginx/logs/access.log agent1.sources.source1.channels=channel1 agent1.sources.source1.fileHeader = true agent1.sources.source1.deserializer.outputCharset=UTF-8 agent1.sources.source1.interceptors = i1 i2 agent1.sources.source1.interce...

5
0
发表了问答
2016/06/16 17:31

关于flume向hdfs写入文件的问题

flume通过spooldir向hdfs写入文件时,为了避免频繁产生新文件,设置了每128M产生一个新文件。 spooldir是每分钟产生大量小文件 但是运行过程中发现一个问题,就是只有在新生成的.tmp会写入第一个读取的spooldir文件的内容,后面的文件在没满128M时不会写入hdfs .tmp文件造成数据丢失(这点想不通,按我理解应该按照batchSize提交,按照rollSize产生新文件) 请问一下flume专家,我下面的配置方法,flume不是根据batchSize向hdf...

1
1
发表了问答
2015/11/26 10:30

请问flume如何监控tomcat日志

请问大大们, 如何使用flume监控tomcat日志? 我看了一篇教程<flume 示例一收集tomcat日志> http://my.oschina.net/88sys/blog/71529 结果运行flume之后报错了 java.lang.IllegalStateException: File Channel transaction capacity cannot be greater than the capacity of the channel.   at com.google.common.base.Preconditions.checkState(Preconditions.java:145)   at org.apache.flume.channel.file.FileChannel.configure...

3
0
发表了问答
2016/08/04 17:34

flume 1.6.0 源码编译

flume 1.6.0 官网源码下载下来,mvn 编译老是失败,寻求指教!!!

1
0
发表了问答
2016/04/03 14:53

flume 往hdfs 里写失败不知为啥

2016-04-03 14:50:21,897 (hdfs-k1-call-runner-17) [ERROR - org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrSync(AbstractHDFSWriter.java:267)] Error while trying to hflushOrSync! 2016-04-03 14:50:22,240 (ResponseProcessor for block BP-379782447-10.215.1.51-1450951413112:blk_1074017796_277848) [WARN - org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer$ResponseProcessor.run(DFSOutputStream.j...

7
0
发表了问答
2014/12/24 13:43

flume 在配置source 访问avro 的时候,能使用socket 发送数据给avro,可以接受吗

在本地使用socket 编程 去调用远程的flume机器,发现有个 org.apache.avro.AvroRuntimeException: Excessively large list allocation request detected: 16843009 items! Connection closed. 问题 不清楚如何解决

2
0
发表了问答
2015/12/22 11:55

使用Apache Flume监控Log4J产生的日志,但是如果日志文件因为容量的原因转储了会如何?

考虑使用Apache Flume监控Log4J产生的日志,也简单了解以一下Flume的原理,发现Flume Agent是利用Tail命令实时收集某一文件上追加的内容来实现的。那么问题来了,如果在两次Tail命令的间隔中,由于Log4J的策略导致输出的LOG文件被转储(比如说原来的A.log变成了A_20151222.log),而新的A.log为空,那么是不是A_20151222.log中最后的部分就会被遗漏掉?这个问题该如何解决?...

1
1
发表了问答
2015/08/10 18:02

flume 写入hadoop时报错。

2015-08-10 16:01:22,819 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:422)] process failed java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$SetOwnerRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet; at java.lang.ClassLoader.defin...

2
0
发表了问答
2014/08/19 09:58

Flume 1.5.0如何正常关闭,只能用kill -9吗。。

如题。。用了HDFS sink,kill -9 杀掉怕会出现永远不会rename的tmp文件,发现配置文件改动重新加载之前的tmp文件也不会被rename。。

3
0
发表了问答
2012/08/17 08:46

请问有谁会用Flume ,最好能给个例子

由于本人愚钝,看官网说明,仍然无法搭建使用flume的项目,不知道有谁用过这个吗? 给个简单例子就看看,到底flume 用到项目中能给我们带来什么,解决日常哪些问题。非常感谢。

2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2 评论
313 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部