Apache SeaTunnel 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache SeaTunnel 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache SeaTunnel 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 Apache SeaTunnel
适用人群 未知
收录时间 2021-12-03

软件简介

SeaTunnel 是下一代超高性能的支持海量数据快速同步与集成的云原生数据集成工具,每天可以稳定高效同步万亿级数据,已在字节、B站、微博、腾讯云及印度电信等数百家公司生产上使用,目前也已经支持过百种数据源。

为什么我们需要 SeaTunnel

SeaTunnel 尽所能为您解决海量数据同步中可能遇到的问题:

  • 数据丢失与重复
  • 任务堆积与延迟
  • 吞吐量低
  • 缺少应用运行状态监控

SeaTunnel使用场景

  • 海量数据同步
  • 海量数据集成
  • 海量数据的 ELT/ETL
  • 海量数据聚合
  • 多源数据处理

SeaTunnel 特性

  • 简单易用,灵活配置,无需开发
  • 支持 CDC 
  • 离线多源数据全量和增量同步
  • 超高性能、海量数据处理能力
  • 模块化和插件化,易于扩展

SeaTunnel 支持的 Connector

  • Source

Fake, File, Hdfs, Kafka, S3, Socket, Cassandra, Clickhouse,Elasticsearch,FTP,Hive,Hudi,Iceberg,JDBC,Kudu,MongoDB,OSS, Pulsar, Redis,S3,Kafka 等众多数据源,也支持自行开发 Source plugin

  • Transform

Copy, FieldMapper, FilterRowKind, Filter, Replace, Split, SQL Functions, SQL UDF, SQL及自行开发的 Transform plugin

  • Sink

DynamoDB, Assert, Cassandra, Clickhouse, ClickhouseFile, Console, DataHub, DingTalk, Doris, Elasticsearch, Email, Enterprise WeChat, Feishu, FtpFile, GoogleFirestore, Greenplum, Hbase, HdfsFile, Hive, Http, InfluxDB, IoTDB, JDBC, Kafka, Kudu, LocalFile, Maxcompute, MongoDB, MySQL, Neo4j, OssFile, OssJindoFile, Paimon, Phoenix, Rabbitmq, Redis, RocketMQ, S3Redshift, S3File, SelectDB Cloud, Sentry, SftpFile, Slack, Snowflake, Socket, StarRocks, TDengine, Tablestore 等,也支持自行开发的 Sink plugin

环境依赖

  1. java 运行环境,java >= 8

  2. 如果您要在集群环境中运行 SeaTunnel,那么需要以下环境的任意一种:

  • SeaTunnel Zeta
  • Spark
  • Flink

如果您的数据量较小或者只是做功能验证,也可以仅使用 local 模式启动,无需集群环境,SeaTunnel 支持单机运行。

下载

可以直接运行的软件包下载地址:https://seatunnel.apache.org/download

快速入门

快速入门:https://seatunnel.apache.org/docs/2.3.2/start-v2/locally/quick-start-seatunnel-engine

关于 SeaTunnel 的详细文档

生产应用案例

  • 微博, 增值业务部数据平台 微博某业务有数百个实时流式计算任务使用内部定制版 seatunnel,以及其子项目Guardian做 seatunnel On Yarn 的任务监控。

  • 新浪, 大数据运维分析平台 新浪运维数据分析平台使用 seatunnel 为新浪新闻,CDN 等服务做运维大数据的实时和离线分析,并写入 Clickhouse。

  • 搜狗,搜狗奇点系统 搜狗奇点系统使用 seatunnel 作为 ETL 工具, 帮助建立实时数仓体系

更多案例参见: https://seatunnel.apache.org/user

贡献观点和代码

提交问题和建议:https://github.com/apache/seatunnel/issues

贡献代码:https://github.com/apache/seatunnel/contribute

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(19) 发布并加入讨论🔥
发表了资讯
2023/08/29 10:33

Apache SeaTunnel 2.3.3 版本发布,CDC 支持 Schema Evolution!

时隔两个月, Apache SeaTunnel 终于迎来大版本更新。此次发布的 2.3.3 版本在功能和性能上均有较大优化改进,其中大家期待已久的 CDC Schema evolution(DDL 变更同步)、主键 Split 拆分、JDBC Sink 自动建表功能、SeaTunnel Zeta 引擎支持 作业配置支持变量替换和传参等都是更新的亮点。这些功能和优化使得 Apache SeaTunnel 具备了更强大的数据同步能力,大幅提升了 SeaTunnel 的性能。本文将详细介绍本次更新的具体情况。 ...

1
1
发表了资讯
2023/06/25 18:41

SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2,提高 Zeta 引擎稳定性和易用性

近日,Apache SeaTunnel 正式发布 2.3.2 版本。此时距离上一版本 2.3.1 发布已有两个多月,期间我们收集并根据用户和开发者的反馈,在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复,提高了引擎的稳定性和使用效率。 此外,新版本还对 Connector-V2 中的连接器进行了功能和性能优化,同时 SQL Transfrom 支持了自定义 UDF 函数,Zeta Engine 也提供了通过 Rest API 的方式进行集群的监控和查询操作。 本文将为大家介绍...

0
4
发表了资讯
2023/06/01 15:18

SeaTunnel 毕业!首个国人主导的数据集成项目成为 Apache 顶级项目

重要消息! 北京时间 2023 年 6 月 1 日,全球最大的开源软件基金会 Apache Software Foundation(以下简称 ASF)正式宣布 Apache SeaTunnel 毕业成为 Apache 顶级项目(TLP, Top Level Project)。这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目,这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破,并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。 Apache SeaTunnel 原名 Waterdrop,在...

4
22
发表了资讯
2023/03/29 18:46

SeaTunnel 2.3.1 重磅发布!AI compatible 特性引发关注

SeaTunnel 2.3.1 版本于近日发布,这是一次备受瞩目的重磅发布,有多项重要功能更新和优化。 在编程使用体验层面上,新版本提升了 SeaTunnel Zeta 稳定性,并提升了 CI/CD 的稳定性;在连接器层面上,新版本实现了 7+ 个新连接器,修复了已有常用连接器 bug,并提高了安全性。社区重构了多个底层基类,增加了一个重要特性 AI Compatible,经过优化后的API,用户可以直接使用ChatGPT 4.0 快速构建需要使用的SaaS Connector。 重大...

0
4
发表了资讯
2023/01/05 11:16

海量数据同步首选 SeaTunnel Zeta 引擎正式发布!

点亮 ⭐️ Star · 照亮开源之路 https://github.com/apache/incubator-seatunnel 版本发布 今天,Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本,并正式发布自己的核心同步引擎 Zeta!此外,SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性,包括支持 CDC、以及近百种 Connector 等。 文档 https://seatunnel.apache.org/docs/2.3.0/about 下载地址 https://seatunnel.apache.org/download/ 01 主要更新 SeaT...

2
14
发表了资讯
2022/10/10 17:16

Apache SeaTunnel 2.2.0-beta 版本发布!API 重构,连接器与引擎解偶

点亮 ⭐️ Star · 照亮开源之路 版本更新 今天,Apache SeaTunnel(Incubating) 2.2.0-beta 版本正式发布。新版本对 Connector API 进行了重构,将连接器与引擎解偶,同时社区基于新 API 完成了大量连接器的接入,并修复了上个版本中存在的使用性问题,提高了版本稳定性和使用效率。 本文将为大家介绍 Apache SeaTunnel(Incubating) 2.2.0-beta 版本更新的具体内容。 Release Note: https://github.com/apache/incubator-se...

1
4
发表了资讯
2021/12/31 20:52

全票通过!数据集成平台 SeaTunnel 成功进入 Apache 孵化器!

美国时间 2021 年 12 月 9 日,SeaTunnel(原名Waterdrop) 正式通过 Apache 软件基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目。 根据 Apache 基金会邮件列表显示,在包含 14 个约束性投票 (binding votes) 和 9 个无约束性投票(non-binding votes) 的投票,评委全部持赞同意见,无弃权票和反对票。这也是 Apache 基金会中诞生的第一个来自中国的数据集成平台项目。 SeaTunnel 的前世今生 SeaTunnel 是一个...

2
33
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
19 评论
78 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部