如果要开发一个hadoop架构的系统,以前的oracle的数据需要导入吗?

业余编程人士 发布于 2016/09/30 09:52
阅读 724
收藏 0

公司现在的平台是建立在oracle的基础架构上 不停往上加存储的。现在公司考虑尝试以后开发java +hadoop+oracle的体系架构的新一代平台。作为一个学习者 我想咨询一下过来人,如果像这种转变应该不会吧oracle的东西数据迁移到hbase里面吧? 因为公司做智能交通的,存了好多录像 GPS 线路等 我想问一下 该如何设计。
如果要从新架构 ,需要如何调整,应该注意什么,如何最有效的少做事 应该做些什么事。谢谢指点!~

加载中
1
AutoPlus
AutoPlus
hadoop 不是用来存储的,你们公司先得明白这点。你如果单纯要二进制分布式存储,那可用的文件系统多了,并一定非 HDFS。hadoop 纯粹是分析用的,首先在别的地方存储你的数据,然后对需要分析的那部分做个副本,转存到 hadoop。只需要二进制格式,就存入 HDFS,需要对象格式,就存入 HBase。
业余编程人士
业余编程人士
谢谢你 我明白了
0
Li_Peng
Li_Peng
hadoop不是用来替换oracle的,所以导入数据的意义不大,因为导入后查询起来反而不方便。
0
回去干活
回去干活
hadoop主要是用来做静态数据的存储.
业余编程人士
业余编程人士
请问能不能举个例子 比如在oracle里面的数据在什么业务上加入hadoop
0
JPblog
JPblog

先要明确系统的作用是什么,你所说的oracle上架构的系统可能使业务系统,业务系统只能用关系数据库。hadoop平台是做海量数据存储计算分析挖掘的,所以hadoop不会替代业务库,应该只是承担海量数据分析任务。
官万人员
官万人员
回复 @程序员之霸 : 日志啊,什么的,数据总量要大,不然没什么意义
官万人员
官万人员
回复 @程序员之霸 : sqoop啊,百度一下,你就知道
业余编程人士
业余编程人士
回复 @oschina二大爷 : 您好 谢谢你的回答 我还想请问一下 就是说都是一般什么样的数据什么样的场景适合导入到hbase中去。
官万人员
官万人员
回复 @程序员之霸 : sqoop支持把关系数据库直接到到hadoop
业余编程人士
业余编程人士
请问分析的话能不能简单举一个小例子 比如从之前数据存在oracle里面 后面怎么进入hbase的 谢谢
0
宏哥
宏哥
hadoop 充其量只能作为 oracle 的其中一个数据源
0
宏哥
宏哥

所谓大数据平台,无外乎用并行处理做一些数据清洗,以及聚合工作

然后, 还是得进数据库

大数据不能变成 “小数据” 就是毫无价值的

0
漓江
漓江

Hbase的数据结构存储,适合MVCC,正好适合你的需求。数据是存储在HDFS上的,底层还是hadoop的那一套。但HBASE存在的一个问题是,你需要设计好regionkey,否则会造成数据分布不均,负载过重。

架构的话,hbase+zookeeper+hadoop。既存对的数据的话,如果需要数据迁移的话,可以考虑使用sqoop。

返回顶部
顶部