Pulsar-Flink Connector 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Pulsar-Flink Connector 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Pulsar-Flink Connector 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 StreamNative
适用人群 未知
收录时间 2020-09-14

软件简介

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展流数据存储特性。

Apache Flink是一款面向数据流处理和批量数据处理的分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时地处理一些实时数据流,实时地产生数据的结果;也可以用来做一些基于事件的应用。

Apache Pulsar 能以不同的方式与 Apache Flink 融合: 使用流式连接器(Streaming Connectors)支持流式工作负载,或使用批式源连接器(Batch Source Connectors)支持批式工作负载。

Pulsar 还提供了对 Schema 的原生支持,可以与 Flink 集成并提供对数据的结构化访问。例如,使用 Flink SQL 在 Pulsar 中查询数据, 另外还能将 Pulsar 作为 Flink 的状态后端。由于 Pulsar 具有分层架构(Apache Bookkeeper 支持下的 Streams 和 Segmented Streams),因此可以将 Pulsar 作为存储层并存储 Flink 状态。

Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。Pulsar 支持 Flink 的批流融合计算计算,无需用户再进行多余的操作。
 

使用前提

  • Java 8 及以上版本

  • Flink 1.9.0 及以上版本

  • Pulsar 2.4.0 及以上版本

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
2020/12/29 02:09

Pulsar Flinkconnector 2.7.0 正式发布,支持最新版 Pulsar 与 Flink

Pulsar Flink 连接器 2.7.0 支持 Apache Pulsar 2.7.0 和 Apache Flink 1.12 中的功能,并且与 Flink连接器 和Flink 消息格式完全兼容。 新版本特性: 高性能的有序消息队列; 为 Pulsar sink 引入 exactly-once 的语义(基于 Pulsar transaction); 引入 upsert-pulsar 连接器; 支持在 FLIP-27 和 FLIP-95 中引入的新的源接口和Table API; 支持SQL读写元数据(FLIP-107)等等。...

0
0
2020/09/14 15:31

Pulsar Flink Connector 2.5.0 发布, 支持 Flink 1.11

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展流数据存储特性。 Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。Pulsar 支持 Flink 的批流融合计算...

4
3
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Apache Commons Compress 无限循环漏洞
不可达退出条件的循环(无限循环)
Apache Commons Compress是美国阿帕奇(Apache)基金会的一个用于处理压缩文件的库。 Apache Commons Compress存在安全漏洞,该漏洞源于当读取一个特殊制作的7Z归档文件时,构造解码器列表来解压缩条目可能会导致无限循环。
CVE-2021-35515 MPS-2021-10565
2022-08-08 20:24
Google protobuf 安全漏洞
不正确的行为次序
Google protobuf是美国谷歌(Google)公司的一种数据交换格式。 protobuf-java 存在安全漏洞,该漏洞允许一个小的恶意负载可以通过创建大量导致频繁、重复暂停的短期对象来占用解析器几分钟。
CVE-2021-22569 MPS-2021-19066
2022-08-08 20:24
com.fasterxml.jackson.core:jackson-databind 存在拒绝服务漏洞
拒绝服务
com.fasterxml.jackson.core:jackson-databind 是一个库,其中包含Jackson Data Processor的通用数据绑定功能和树模型。当使用 JDK 序列化来序列化和反序列化 JsonNode 值时,此包的受影响版本容易受到拒绝服务 (DoS) 的攻击。
MPS-2022-12500
2022-08-08 20:24
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
4 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部