授权协议: Apache-2.0
开发语言: Java
操作系统: 跨平台
收录时间: 2020-09-14
提 交 者: StreamNative

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展流数据存储特性。

Apache Flink是一款面向数据流处理和批量数据处理的分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时地处理一些实时数据流,实时地产生数据的结果;也可以用来做一些基于事件的应用。

Apache Pulsar 能以不同的方式与 Apache Flink 融合: 使用流式连接器(Streaming Connectors)支持流式工作负载,或使用批式源连接器(Batch Source Connectors)支持批式工作负载。

Pulsar 还提供了对 Schema 的原生支持,可以与 Flink 集成并提供对数据的结构化访问。例如,使用 Flink SQL 在 Pulsar 中查询数据, 另外还能将 Pulsar 作为 Flink 的状态后端。由于 Pulsar 具有分层架构(Apache Bookkeeper 支持下的 Streams 和 Segmented Streams),因此可以将 Pulsar 作为存储层并存储 Flink 状态。

Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。Pulsar 支持 Flink 的批流融合计算计算,无需用户再进行多余的操作。
 

使用前提

  • Java 8 及以上版本

  • Flink 1.9.0 及以上版本

  • Pulsar 2.4.0 及以上版本

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Pulsar-Flink Connector 的相关资讯

Pulsar-Flink Connector 的相关博客

Pulsar Flink Connector 2.5.0 正式发布

经过不断地努力,社区成功发布 Pulsar Flink Connector 2.5.0 版本。Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache...

Flink 生态:Pulsar Connector 机制剖析

整理:吕宴全(Flink 社区志愿者) 摘要:本文由 Apache Pulsar Committer,StreamNative 高级工程师申毅杰老师分享,社区志愿...

Flink Connector 深度解析

作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2...

flink-kafka-connector 的实现

简单介绍 flink-kafka-connector用来连接kafka,用于消费kafka的数据, 并传入给下游的算子。 使用方式 首先来看下flink-kaf...

Flink 和 Pulsar 的批流融合

作者:Sijie Guo 编辑:Irene 转自:StreamNative Apache Flink 和 Apache Pulsar 的开源数据技术框架可以以不同的方式融合,...

13-Flink-Kafka-Connector

大数据成神之路:点我去成神之路系列目录^_^ Flink入门 Flink DataSet&DataSteam API Flink集群部署 Flink重启策略 Flink分布...

Flink 专题1 : 搭建Flink 及Flink 简介

Flink 专题1 : 搭建Flink 及Flink 简介 图片来源于网络 Flink 简介 Apache Flink® - 基于数据流的有状态计算 Flink 的优势:...

Apache Flink 零基础入门(二十)Flink kafka connector

内置source和sink 内置source包括从文件读取,从文件夹读取,从socket中读取、从集合或者迭代器中读取。内置的sink包括写文件...

Flink Kafka Connector 与 Exactly Once 剖析

作者:史天舒 Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consum...

Pulsar-Flink Connector 的相关问答

还没有任何问答,马上提问

评论 (0)

加载中
更多评论
0 评论
3 收藏
分享
在线直播报名
返回顶部
顶部