需求:实时统计每天的访问数据,总结数据。
数据量存储:
两个大表,每个表现在有500万数据,每个月会递增100万。
一个类型配置表,基本固定。
实时统计时,会用上面三个表进行联表查询,用类型配置表进行分组,统计出总数。
用mysql查询起来会比较慢。
一般情况下,这种实时统计分析报表,都会引入什么第三方框架实现吗?
需求:实时统计每天的访问数据,总结数据。
数据量存储:
两个大表,每个表现在有500万数据,每个月会递增100万。
一个类型配置表,基本固定。
实时统计时,会用上面三个表进行联表查询,用类型配置表进行分组,统计出总数。
用mysql查询起来会比较慢。
一般情况下,这种实时统计分析报表,都会引入什么第三方框架实现吗?
用mysql查询起来会比较慢 这种说法完全没法判断!因为描述是你完全主观的描述,而且百万级的数据量,哪怕是MySQL那糟糕的JOIN能力,现在都不至于到无法接受的程度。
需要你详细说明,
目前一次查询的数据量是多少,返回的结果集是多少。 目前查询的速度是多少,认为到什么程度就不算慢?没有目标是无法提供任何意见的。
建第四张表作为统计数据的表;用来实时存储这三张表的业务数据;
如果是查询瓶颈在 mysql 的话,要优化sql语句,合理设置索引
主要引入第三方框架, mysql 查询慢,该慢还是慢
clickhouse
建议昨天之前的数据做历史表,可以做一些报表纬度的聚合,然后当天的数据可以实时去查询,这样相当于只是处理当天的数据,数据量小很多,这样能提高查询速度
MPP数据库在这方面确实有优势:Vertica,GreenPlume等等