您好,Hive大数据导入Hbase,二进制数据类型如何导入

威廉Jocker 发布于 2018/12/23 12:23
阅读 703
收藏 0

OSC年度开源问卷新鲜出炉,你的回答对我们很重要,参与开源可以从这份问卷开始>>>

@王二铁 你好,想跟你请教个问题:

现在使用Hive生成HFile的方式导入Hbase,

数据类型为Int,Long等数据无法转成相应的Bytes存入Hbase,存到Hbase的数据为String

请问有什么方式可以导入,数据量有3000w左右使用逐条导入效率太慢。

生成HFile的语句如下。

create table child_hfile_tmp1(CHIL_CODE bigint, CHIL_NAME string,CHIL_BIRTHDAY bigint) stored as INPUTFORMAT 'org.apache.hadoop.mapred.TextInputForma' OUTPUTFORMAT 'org.apache.hadoop.hive.hbase.HiveHFileOutputFormat'  TBLPROPERTIES ('hfile.family.path' = '/tmp/hbase_table_hfile/info');

加载中
0
为爱停留
该评论暂时无法显示,详情咨询 QQ 群:912889742
0
却又让幽兰枯萎
却又让幽兰枯萎

一个简便方法,把数据装入多个List里面,再把lsit转成json字符串,存入;取的时候把字符串转化成List对象反解析出来,hbase的威力要把rowKey设计好才能发挥,好好想想怎么设计rowKey

0
王二铁
王二铁

"数据类型为Int,Long等数据无法转成相应的Bytes存入Hbase,存到Hbase的数据为String" 这句话不赞同

 

KeyValue kv = new KeyValue(row, cf.getBytes(),  Bytes.toBytes(columnName), timestamp, Bytes.toBytes(columnValue));  

这样就可以了,columnValue是什么类型,写入就是什么类型的

效果:

column=f:type, timestamp=1508801818, value=2

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部