在 Java 应用 基于Spark 的 OLAP、Streaming 数据统计架构基本如何设计应用呢?

红薯官方 发布于 2018/04/18 19:45
阅读 506
收藏 2

在 Java 应用 基于Spark 的 OLAP、Streaming 数据统计架构基本如何设计应用呢?

1、OLAP 定时进行数据分析统计,按需求的时间粒度、业务角度去分析,将数据统计分析保存到 HDFS 中?

2、Streaming ,结合 MQ 队列,在业务系统中调用产生消息,然后在Spark中进行消费Streaming 计算吗?Streaming 也是有时间粒度、业务维度的需求啊。

以上是我的初步自己的见解,实际还没有经验,大神请来讲讲好吗?

加载中
返回顶部
顶部