校园一卡通大数据该如何建设(亿级数据快速实时查询、分析)

慢慢成长 发布于 2016/02/22 11:11
阅读 2K+
收藏 3

比如成都市部分校园的校园一卡通全由某一公司进行统一建设,想通过更好的大数据分析来进行决策分析

那么有如下几个问题:

1、比如现在的日校园卡一卡通刷卡记录在30W条左右,一个月接近1000W,一年下来也就1亿+了,这部分数据该如何存储呢?

2、数据经过日积月累,记录数不断增长,如何在大记录的表里快速查询历史刷卡记录?快速分析某位学生的消费情况(刷卡情况)?

3、如果要做 食堂什么价位的饭菜卖的最好?澡堂淋浴集中在什么时间段?一般都会淋浴多长时间?什么系别的学生喜欢在图书馆借阅什么类型的书籍?哪门选修课最热门?哪门课的缺勤率最高?等等这些大数据分析,又该如何考虑?

以上就是现在在思考的一些问题,实际工作中并没有相关这方面的(特别是大数据的处理)经验,想请OSC诸位大神帮忙分析分析,讨论讨论

PS:本人JAVAER 一枚,日常工作中主要做一些移动、电信的J2EE企业应用,现在正在做电信某APP(H5+原生外壳)的后台+前台html开发

以下是问题补充:

@慢慢成长:那如果换成要做地铁客流量大数据呢? 现在成都地铁日均客流量在110W乘次左右,这又是一个量级,传统的分库、分表、分区、索引,能满足这个量级么?随着地铁的不断建设开通,量级还会不断增加。。。 (2016/02/22 11:30)
加载中
0
布道牛
布道牛
最近也碰到这个需求
布道牛
布道牛
@慢慢成长 可以用hadoop,我觉得还是蛮不错的13
慢慢成长
慢慢成长
回复 @布道牛 : 哦,这样的哦,还是谢谢了
布道牛
布道牛
@慢慢成长 我们就用sql存储过程解决简单,因给的钱少,前期投了标,后来我没管了。
慢慢成长
慢慢成长
有想法没有呢?
0
独孤青冥
独孤青冥
一亿条数据查询起来也不怎么慢吧,做好索引查起来也很快的,至于其他的,属于数据挖掘的内容了,原始的数据写好sql就差不多了,数据分析与sql没啥关系,如果觉得数据是在太多,可以通过分表或者分库,但一个学校的数据似乎用不着这些玩意....
独孤青冥
独孤青冥
回复 @慢慢成长 : 一般是指redis,但还有其他的啊
慢慢成长
慢慢成长
回复 @独孤青冥 : 额,实际工作中并没有这样的经验,更多的是查一些资料了解信息,内存型数据库现在一般都是用Redis么?
独孤青冥
独孤青冥
回复 @慢慢成长 : 汗一个..这些技术全用上在加上一个内存数据库,就可以支撑起12306,淘宝这样的超级大站了...
慢慢成长
慢慢成长
一个公司要是只做一个学校的这种校园卡建设,那只能饿死,肯定是想做好了后大力推广,抢占市场,如果数据维护放在企业的话,并且向统一的话,那量级应该还是涨得比较快的,关于数据库存储,我也是只能想到 读写分库,分区,索引,也可以按学校、系别(学院)甚至年级什么的,进行分表处理。。。
0
金玉良妍
金玉良妍

1. Oracle 热数据用内存型数据库

2. 写个中间件 定时把数据备份出来 分别保存到子库中 到时候再查

3. 分析刷卡类型+消费信息

拙略建议


慢慢成长
慢慢成长
谢谢,定时分到子库,这个应该也可行
0
卧枝会中田
卧枝会中田
根据你的查询条件,合理的分库分表加索引建分区表
慢慢成长
慢慢成长
恩,暂时能想到的也是这么多了
0
吐槽的达达仔
吐槽的达达仔

这种只是数据零碎,松散而已,一个Oracle足矣。。。

慢慢成长
慢慢成长
恩,据说oracle,如果按主键来检索信息,亿级记录的表,秒查好像也不是什么难事儿,但实际并没有遇到过亿级的表也没有构造过这样的数据,缺少实践验证
0
java10001
java10001

建议,源数据还是存储在关系型数据库,分析和查询数据放在es中


慢慢成长
慢慢成长
es是指?额,孤陋寡闻了。。
0
changnet
changnet
一个月接近1000W远远不能算大数据。你这些数据都是日志,查询频度不高,根据需求,按日期或者用户id分表就可以了
慢慢成长
慢慢成长
那真正的大数据是什么样的呢?或者什么场景?一般对应有什么一些技术解决方案什么的?还请赐教
0
l
lizhi.zero
30w不大,且没有实时性要求,一卡通应该不是直接访问后台服务的,数据存储也不是存着不释放,存半年就算多了,如果嫌分库分表麻烦,可以用noSQL数据库代替。es是指elasticsearch,做搜索用的
0
d
datuz
看你的需求es最佳选择,别说一年1亿,只要你有机器,一分钟一亿都没问题
返回顶部
顶部