海量数据更新--各位对这里面的实现有什么想法

Silencer 发布于 2011/01/07 17:49
阅读 318
收藏 0

这里是淘宝收藏夹的介绍:

http://blog.sina.com.cn/s/blog_3fc85e260100mm4u.html

 

解决问题:

藏夹是线上应用之一,包含收藏info表(一条一条的收藏信息)和收藏item表(被收藏的宝贝和店铺)等:

  • 收藏info表保存收藏信息条目,数十亿条
  • 收藏item表保存收藏的宝贝和店铺的详细信息,数亿条
  • 热门宝贝可能被多达数十万买家收藏
  • 每个买家可能收藏千个宝贝
  • 宝贝的价格、收藏人气等信息随时变化
  • 收藏夹排序(例如按宝贝价格)后展示

 

收藏夹的挑战是:每次收藏夹展示的时候需要从收藏item表中读取收藏的宝贝(店铺)的最新信息,然后进行排序等处理。如果买家的收藏条目比较多(例如 1000条),那么查询对应的item的时间会较长:假设平均每条查询时间是5ms,则1000条的查询时间可能达到5s。这么长的时间很难得到好的用户 体验。

 

如果把收藏的宝贝(店铺)的详细信息实时融入到收藏info表,则上述查询收藏item表的操作就不再需要了。但是,由于许多热门商品可能有数千、数万乃至数十万人收藏,这些热门商品的详细信息的改动可能导致收藏info表的大量改动,并使得收藏info表不堪重负

 

大家谈谈如何对这种数据进行操作。

加载中
0
programtic
programtic

淘宝这么大的数据量应该用的是oracle吧?

0
ValueError
ValueError

引用来自#2楼“张优”的帖子

淘宝这么大的数据量应该用的是oracle吧?

貌似淘宝自己开发过一套key-value数据库系统,忘了叫什么名字了。

0
北落
北落

帮顶  期待高手解答

0
L
LIlyl

hadoop   hbase 云计算

0
L
LIlyl

淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

返回顶部
顶部