Flume 常用插件扩展包 scc-flume-plugin

GPL
Java
跨平台
2017-12-28
尚浩宇

本插件是对 Flume 现有插件的扩充,主要是:

    1、kafka-source,相对 flume 自带插件,升级了 kafka 依赖版本,支持更高版本的 kafka 集群,并支持自动扫描特定 topic ,无需在配置文件指定,并且自动匹配出 timestamp、level、topic、message 等常用字段;

    2、kafka-channel,相对 flume 自带插件,升级了 kafka 依赖版本,支持更高版本的 kafka 集群;

    3、es-sink,相对 flume 自带插件,升级了 elasticsearch 依赖版本,支持更高版本的 elasticsearch 集群。

对应版本如下:

  • flume1.7.0+

  • kafka2.12-0.10.2.1

  • elasticsearch6.1.0

其他版本未试验过。

flume 配置如下:

  • agent.sources = s1

  • agent.sinks = k1

  • agent.channels = c1

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

关于 Flume NG

关于Flume NG 关于Flume NG的官方说明:Flume NG是Flume 的一个分支,其目的是要明显简单,体积更小,更容易部署。这样做,我们不承诺保持向后兼容性。目前,我们正在从那些有兴趣测试的正确...

2012/08/08 10:52
2K
0
ClickHouse - 使用flume同步oracle数据至clickhouse

clickhouse在上一篇转载的博客中已初步介绍,最近在公司项目中,遇到了数据库大量数据查询慢的问题,借此来实战clickhouse,本文重点介绍数据同步。 接下来重点讲一下,使用flume同步oracle数...

2018/11/01 16:52
931
3
Hadoop CDH5 Flume部署

Hadoop有一套日志收集系统,flume,下一代的日志收集叫flume-ng,老版本的叫flume-og。这一篇就在CDH5.0上尝试flume-ng 1.4。还是基于之前升级后的CDH5集群操作。 1 安装flume flume-ng,主要...

2014/05/29 17:34
332
0
Flume Installation

下载flume二进制安装包:apache-flume-1.6.0-bin.tar.gz http://www.apache.org/dist/flume/1.6.0/ http://www.apache.org/dist/flume/1.7.0/ 把apache-flume-1.6.0-bin.tar.gz文件存放在/op...

2017/08/10 23:09
19
0
flume-ng学习

简介 Flume简要来说是,是分布式实时数据采集系统,能够监控多种数据来源,然后传输给多种数据目标。常用的数据来源有日志文件、Socket、Kafka等;常见的数据目标有HDFS、Hbase、文件、Kafka...

2017/04/04 22:12
38
0
flume 1.7 源码导入eclipse windows

- 安装maven,设置MAVEN_HOME等配置 - [下载flume源码](https://github.com/apache/flume/archive/flume-1.8.zip) - eclipse-oxygen,设置eclipse 使用外部maven,并配置settings.xml - ```s...

2017/10/31 15:05
97
0
Flume 采集发送消息到kafka

一些场景需要采集文本内容发送到kafka,flume正好提供了这种解决方案 Flume agent脚本及配置如下 Mac 安装: brew install flume 启动脚本: nohup /usr/local/Cellar/flume/1.9.0/bin/flum...

08/10 16:17
15
0
Flume+Kafka+SparkStreaming 最新最全整合

1.架构 第一步,Flume和Kakfa对接,Flume抓取日志,写到Kafka中 第二部,Spark Streaming读取Kafka中的数据,进行实时分析 本文首先使用Kakfa自带的消息处理(脚本)来获取消息,走通Flume和...

2018/07/04 18:27
61
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部