+
 新版

实时统计报表一般都是用什么解决方案的
热

周围观点 发布于 2020/12/03 11:47
阅读 10K+
收藏 27

需求:实时统计每天的访问数据,总结数据。

数据量存储:

两个大表,每个表现在有500万数据,每个月会递增100万。

一个类型配置表,基本固定。

实时统计时,会用上面三个表进行联表查询,用类型配置表进行分组,统计出总数。

用mysql查询起来会比较慢。

一般情况下,这种实时统计分析报表,都会引入什么第三方框架实现吗?

 

加载中
6
魔力猫
魔力猫

用mysql查询起来会比较慢  这种说法完全没法判断!因为描述是你完全主观的描述,而且百万级的数据量,哪怕是MySQL那糟糕的JOIN能力,现在都不至于到无法接受的程度。

需要你详细说明,

目前一次查询的数据量是多少,返回的结果集是多少。 目前查询的速度是多少,认为到什么程度就不算慢?没有目标是无法提供任何意见的。

 

 

1
戰五渣
戰五渣

建第四张表作为统计数据的表;用来实时存储这三张表的业务数据;

0
苏打绿茶
苏打绿茶

如果是查询瓶颈在  mysql  的话,要优化sql语句,合理设置索引

主要引入第三方框架, mysql 查询慢,该慢还是慢

周
周围观点
有哪些第三方框架介绍下吗
0
才
周
周围观点
谢谢,来去研究下这个框架
0
Y
YG_FL

建议昨天之前的数据做历史表,可以做一些报表纬度的聚合,然后当天的数据可以实时去查询,这样相当于只是处理当天的数据,数据量小很多,这样能提高查询速度

周
周围观点
:bowtie:嗯,有道理。
0
m
maxc
一般可以多节点并行处理。最后将数据汇聚
0
BuWei1987
BuWei1987
clickhouse 主要你肯加内存,速度会飞起
0
皎
皎夜既明
kylin或者clickhouse
0
charmfocus
charmfocus
列式数据库百万级数据聚合统计不是事
0
c
cuiw

MPP数据库在这方面确实有优势:Vertica,GreenPlume等等

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部