关于nosql中的数据冗余问题

乌龟壳 发布于 2012/06/22 14:32
阅读 556
收藏 0

最近在设计一个对资源要求很高的模块的时候,为了灵活性参考了nosql的实现,但是发现value中经常要重复保存很多在关系数据库中类似字段名称的信息。这样冗余度看起来很大。举个例子吧。

关系数据库中:

id    acolumn    bcolumn    ccolumn    dcolumn

 1       aaa             bbb        ccc            ddd

 2       eee             fff           ggg            hhh

k/v数据库中:

k    v

1    {"acolumn":aaa, "bcolumn":bbb, "ccolumn":ccc, "dcolumn":ddd}

1    {"acolumn":eee, "bcolumn":fff, "ccolumn":ggg, "dcolumn":hhh}

以此类推,可见在k/v模型中会产生很多的字段名称数据冗余,因为这些数据都是要在线查询的,所以压缩技术不好应用上去。请问有没有什么比较合适的方式既能有比较好的灵活性,又能尽量避免冗余呢?

运行环境是一个单机系统,需要添加索引帮助快速查询,但不用考虑过多并发。

下面是想到的一个比较折衷的办法:

在数据表里建立足够多的列,列名没有业务意义,类似c1,c2,c3等,然后再在另一表中存储字段信息,比如{'account':'c1',  'address':'c2'}等,然后查询的时候先查列名对应的列,然后再组成sql语句查出最后的结果。

这样可能需要一个适合稀疏数据表的数据库引擎。请问有什么好的推荐吗。

或者这样的设计合理吗?有更直接的解决方式吗?各位看官,先谢谢了。

加载中
0
中山野鬼
中山野鬼
这是如何做系统分析,如何做模块切割的问题。哈。具体方案的讨论没意义的。因为参与的人,并不了解你的业务全貌。可能别人都认为你SB的方案,在业务中,因为存在某些约束,导致这种方案具备必要性的存在。
0
mallon
mallon

你要这样用kv数据库,搞到最后肯定把关系数据库的那套自己实现了一遍,还不如直接用关系数据库呢。

kv数据库使用场合并不是你需要。

0
十一文
十一文

这种情况建议用mongo。把这个当做一个document来存。里面的字段可以是不同结构的。

 

 

另一般情况

另外kv数据库 本来关联查询本就是个难题。

如果又要能单条件(key)查询的速度,又要能关联查询。那么冗余是必不可少的。

同时,如果不用冗余话。那就必须得多次查询,这样为了保证数据查询速度,所以又得用分布式。

0
pww71
pww71

推荐你用这个

https://sourceforge.net/projects/pwwhashmap/?source=navbar

返回顶部
顶部