业务数据一天百万级别怎么做统计

红番茄 发布于 10/12 18:26
阅读 2K+
收藏 7

单表每日数据量几百万 出了分库分表外 怎么解决对这种表的统计或查询的效率问题呢 或者多表联查分页

加载中
2
0
sprouting
sprouting

make下,我记得我们的方案是每天都放到es中,但如果涉及到表的各种连接之类的查询,这就比较麻烦l

cullenx
cullenx
回复 @sprouting : ES不太适合这种 即席统计查询场景 考虑OLAP类型的数据库吧
sprouting
sprouting
回复 @红番茄 : 可以在进入es中的时候,对查询进行相应的数据补全,这种大数据量的就不应该再走关联查询,如果有这么多的连接查询就说明你们的设计有问题的,应该插入es的时候补全,就可以实现你们的功能了
红番茄
红番茄
就是需要连表查询 并分页
0
王逅逅
王逅逅

先提升下硬件配置  SSD

王逅逅
王逅逅
回复 @红番茄 : 硬件满足的话 就是调优了 分库分表是在数据库设计合理的基础上才能发挥效果
红番茄
红番茄
不缺硬件 现在问题也不是硬件就解决了
0
若谷
若谷

没用云么?用云的话直接咨询吧,一堆配套的解决方案。你在这里说的需求太模糊了

0
稀饭L1
稀饭L1

需要做实时的统计?一般定时统计更新下统计结果的缓存就可以吧

红番茄
红番茄
要分页展示
0
笨鸟菜
笨鸟菜

我们目前用的tidb,百亿级别分析其实还是蛮快的

sprouting
sprouting
百度了下没太多资料,能说下百亿数据查询的速度怎么样吗?适用的场景范围
0
cullenx
cullenx

分库分表不是解决 大数据量即席统计查询场景的, 考虑用OLAP类型的数据库吧 比如Clickhouse,ES也不适合这个场景,更适合搜索类场景

0
北风刮的不认真了
北风刮的不认真了

顶一下 clickhouse。看官网介绍 https://clickhouse.com/docs/zh/  
存储的方式是列式数据库、适用于分析。

我们很多埋点、日志、预警、统计分析都是基于这个上面来实现的

0
杰克伦敦尘
杰克伦敦尘

这个量不算多啊,用不着分库分表。现在大多数数据库,都支持表的自动分区,比如,每个月的数据,单独存在一个目录、或一个文件,从编程的角度,还是一个表。
比如, PostgreSQL 的表分区介绍:
https://www.postgresql.org/docs/13/ddl-partitioning.html

查询统计方面,可参考我的博客文章:
单个表上亿行数据的主键、索引设计,及分页查询
https://my.oschina.net/jacklondon/blog/5220057
https://www.cnblogs.com/jacklondon/p/big_table_design_and_paing.html

T
Texl
主键用uuid?这不好导致频繁页分裂和树过高和每页数据装载数据变小影响效率
0
LH速度
LH速度

实时统计。每次业务请求,把数据发送到队列,另一侧,实时计算保存统计数据。 

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部