实时数仓使用的Kappa架构,怎么处理存量数据的?

覔见书畔 发布于 09/16 11:51
阅读 389
收藏 1

Linux基金会开源软件大学开源技术公开课即将上线,Kubernetes1.19实战讲解!>>>

最近随着阿里推行flink, 实时数仓的建设的概念也越来越火,然后到网上我了解了一下,实时数仓的建设大多数是摒弃了传统的 Lambda 架构, 即实时和离线是分开部署和处理的,但会产生数据一致性,数据冗余,计算冗余等问题,于是产生了 Kappa 架构,但在kappa架构中,真实场景是怎么处理存量数据的?再次全量消费?如果是这样,那代价是不是太大了。

lambda架构:

kappa架构:

 

 

 

加载中
返回顶部
顶部