业务数据一天百万级别怎么做统计

红番茄 发布于 2021/10/12 18:26
阅读 6K+
收藏 12

单表每日数据量几百万 出了分库分表外 怎么解决对这种表的统计或查询的效率问题呢 或者多表联查分页

加载中
2
vvtf
vvtf

clickhouse

0
sprouting
sprouting

make下,我记得我们的方案是每天都放到es中,但如果涉及到表的各种连接之类的查询,这就比较麻烦l

freekevin
freekevin
回复 @sprouting : ES不太适合这种 即席统计查询场景 考虑OLAP类型的数据库吧
sprouting
sprouting
回复 @红番茄 : 可以在进入es中的时候,对查询进行相应的数据补全,这种大数据量的就不应该再走关联查询,如果有这么多的连接查询就说明你们的设计有问题的,应该插入es的时候补全,就可以实现你们的功能了
红番茄
红番茄
就是需要连表查询 并分页
0
王逅逅
王逅逅

先提升下硬件配置  SSD

王逅逅
王逅逅
回复 @红番茄 : 硬件满足的话 就是调优了 分库分表是在数据库设计合理的基础上才能发挥效果
红番茄
红番茄
不缺硬件 现在问题也不是硬件就解决了
0
若谷
若谷

没用云么?用云的话直接咨询吧,一堆配套的解决方案。你在这里说的需求太模糊了

0
稀饭L1
稀饭L1

需要做实时的统计?一般定时统计更新下统计结果的缓存就可以吧

江上数峰青
江上数峰青
回复 @红番茄 : 其实100万数据分页,是伪需求,根本没人可以翻页超过20页
红番茄
红番茄
要分页展示
0
笨鸟菜
笨鸟菜

我们目前用的tidb,百亿级别分析其实还是蛮快的

笨鸟菜
笨鸟菜
回复 @sprouting : 查询速度基本上秒级,前端做上加载效果,在用户接受范围
笨鸟菜
笨鸟菜
回复 @sprouting : 我们是用来财务数据上,支付和销售库存条线的分析统计
h
heike07
回复 @sprouting : 有一个官网还不够?
sprouting
sprouting
百度了下没太多资料,能说下百亿数据查询的速度怎么样吗?适用的场景范围
0
freekevin
freekevin

分库分表不是解决 大数据量即席统计查询场景的, 考虑用OLAP类型的数据库吧 比如Clickhouse,ES也不适合这个场景,更适合搜索类场景

0
北风刮的不认真了
北风刮的不认真了

顶一下 clickhouse。看官网介绍 https://clickhouse.com/docs/zh/  
存储的方式是列式数据库、适用于分析。

我们很多埋点、日志、预警、统计分析都是基于这个上面来实现的

0
杰克伦敦尘
杰克伦敦尘

这个量不算多啊,用不着分库分表。现在大多数数据库,都支持表的自动分区,比如,每个月的数据,单独存在一个目录、或一个文件,从编程的角度,还是一个表。
比如, PostgreSQL 的表分区介绍:
https://www.postgresql.org/docs/13/ddl-partitioning.html

查询统计方面,可参考我的博客文章:
单个表上亿行数据的主键、索引设计,及分页查询
https://my.oschina.net/jacklondon/blog/5220057
https://www.cnblogs.com/jacklondon/p/big_table_design_and_paing.html

杰克伦敦尘
杰克伦敦尘
回复 @noday : mysql 应该也支持吧,我很少用,但网上能搜到资料。 https://www.jianshu.com/p/2084216e81ce
noday
noday
mysql有自动分区吗,你的文章适用于mysql吗,如果适用,我研究一下
杰克伦敦尘
杰克伦敦尘
回复 @Texl : 你说的是哪种数据库、哪个版本?我用过 Oracle, MS SQL Server, PostgreSQL, 都没有发生这种事情。
T
Texl
主键用uuid?这不好导致频繁页分裂和树过高和每页数据装载数据变小影响效率
0
LH速度
LH速度

实时统计。每次业务请求,把数据发送到队列,另一侧,实时计算保存统计数据。 

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部