现有业务数据量十分庞大,想拆分业务为几块分别计算,如何实现分布式?

肉哥来了 发布于 2016/06/15 14:55
阅读 360
收藏 0

公司需要将现有业务修改一下

主要是由于数据量非常庞大,直接计算会花掉很多时间

现在想把业务拆分为几块来分别计算,每一块需要具备一定的灵活性

比如连接的数据库可以随意修改,因为数据源有可能会变动...

求教这样的改动需要哪些技术支撑?大概的思路又是如何?

加载中
0
抢小孩糖吃
抢小孩糖吃
这个看数据的数量级,hadoop是个强大的解决方法。如果数量级没有到天,可以从架构方面考虑入手。
0
抢小孩糖吃
抢小孩糖吃
如果是数据库随意修改,我这边实现过多数据源访问,看可以进行解决。可以通过一个固定库的表,维护多个数据源的关键字,在连接的时候去使用对应的datasource
0
12叔
12叔
数据量超过T级别 就可以用 hadoop 了 不然的话 先用别的办法 
返回顶部
顶部