Apache SeaTunnel 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache SeaTunnel 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache SeaTunnel 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 seatunnel
适用人群 未知
收录时间 2021-12-03

软件简介

seatunnel 是一个非常易用的支持海量数据实时同步的超高性能分布式数据集成平台,每天可以稳定高效同步数百亿数据,已在近百家公司生产上使用。

为什么我们需要 seatunnel

seatunnel 尽所能为您解决海量数据同步中可能遇到的问题:

  • 数据丢失与重复
  • 任务堆积与延迟
  • 吞吐量低
  • 应用到生产环境周期长
  • 缺少应用运行状态监控

seatunnel 使用场景

  • 海量数据同步
  • 海量数据集成
  • 海量数据的 ETL
  • 海量数据聚合
  • 多源数据处理

seatunnel 的特性

  • 简单易用,灵活配置,无需开发
  • 实时流式处理
  • 离线多源数据分析
  • 高性能、海量数据处理能力
  • 模块化和插件化,易于扩展
  • 支持利用 SQL 做数据处理和聚合
  • 支持 Spark Structured Streaming
  • 支持 Spark 2.x

seatunnel 的工作流程

seatunnel-workflow_zh-CN.png

                         Input[数据源输入] -> Filter[数据处理] -> Output[结果输出]

多个 Filter 构建了数据处理的 Pipeline,满足各种各样的数据处理需求,如果您熟悉 SQL,也可以直接通过 SQL 构建数据处理的 Pipeline,简单高效。目前 seatunnel 支持的Filter列表, 仍然在不断扩充中。您也可以开发自己的数据处理插件,整个系统是易于扩展的。

seatunnel 支持的插件

  • Input plugin

Fake, File, Hdfs, Kafka, S3, Socket, 自行开发的 Input plugin

  • Filter plugin

Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行开发的Filter plugin

  • Output plugin

Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行开发的 Output plugin

环境依赖

  1. java 运行环境,java >= 8

  2. 如果您要在集群环境中运行 seatunnel,那么需要以下 Spark 集群环境的任意一种:

  • Spark on Yarn
  • Spark Standalone

如果您的数据量较小或者只是做功能验证,也可以仅使用 local 模式启动,无需集群环境,seatunnel 支持单机运行。 注: seatunnel 2.0 支持 Spark 和 Flink 上运行

下载

可以直接运行的软件包下载地址:https://github.com/InterestingLab/seatunnel/releases

快速入门

快速入门:https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

关于 seatunnel 的详细文档

生产应用案例

  • 微博, 增值业务部数据平台 微博某业务有数百个实时流式计算任务使用内部定制版 seatunnel,以及其子项目Guardian做 seatunnel On Yarn 的任务监控。

  • 新浪, 大数据运维分析平台 新浪运维数据分析平台使用 seatunnel 为新浪新闻,CDN 等服务做运维大数据的实时和离线分析,并写入 Clickhouse。

  • 搜狗,搜狗奇点系统 搜狗奇点系统使用 seatunnel 作为 ETL 工具, 帮助建立实时数仓体系

  • 趣头条,趣头条数据中心 趣头条数据中心,使用 seatunnel 支撑 mysql to hive 的离线 ETL 任务、实时 hive to clickhouse 的 backfill 技术支撑,很好的 cover 离线、实时大部分任务场景。

  • 一下科技, 一直播数据平台

  • 永辉超市子公司-永辉云创,会员电商数据分析平台 seatunnel 为永辉云创旗下新零售品牌永辉生活提供电商用户行为数据实时流式与离线 SQL 计算。

  • 水滴筹, 数据平台 水滴筹在 Yarn 上使用 seatunnel 做实时流式以及定时的离线批处理,每天处理 3~4T 的数据量,最终将数据写入 Clickhouse。

更多案例参见: https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/case_study/

贡献观点和代码

提交问题和建议:https://github.com/InterestingLab/seatunnel/issues

贡献代码:https://github.com/InterestingLab/seatunnel/pulls

开发者

感谢所有开发者

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
2.x.x什么时候更新一版?
01/12 16:35
回复
举报
打分: 力荐
请问1.5.6支持flink的么, 文档中支持Flink的2.0系列咋不更新了。 非常感兴趣
2021/12/24 09:19
回复
举报
DolphinScheduler 已经集成了 SeaTunnel,为国产优秀作品打 Call
2021/12/20 12:50
回复
举报
打分: 力荐
海量数据同步,你值得拥有,已在 滴滴、B 站、新浪、唯品会等近百家公司生产上使用
2021/12/20 10:02
回复
举报
打分: 还行
感觉没啥用啊
2021/12/06 18:47
回复
举报
更多评论
发表了资讯
2021/12/31 20:52

全票通过!数据集成平台 SeaTunnel 成功进入 Apache 孵化器!

美国时间 2021 年 12 月 9 日,SeaTunnel(原名Waterdrop) 正式通过 Apache 软件基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目。 根据 Apache 基金会邮件列表显示,在包含 14 个约束性投票 (binding votes) 和 9 个无约束性投票(non-binding votes) 的投票,评委全部持赞同意见,无弃权票和反对票。这也是 Apache 基金会中诞生的第一个来自中国的数据集成平台项目。 SeaTunnel 的前世今生 SeaTunnel 是一个...

2
35
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
暂无内容
5 评论
20 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部