set=mapred.output.compression.type=BLOCK和set=io.seqfile.compression.type=BLOCK有什么区别

爸爸我爱你 发布于 2013/08/29 20:56
阅读 1K+
收藏 0

各位大侠,小弟新人求教。

请问

set=mapred.output.compression.type=BLOCK和set=io.seqfile.compression.type=BLOCK有什么区别?
set=io.seqfile.compression.type=BLOCK是不是只能在往stored as sequencefile的表load数据时使用?


下面两个load有没有问题?

1.

CREATE TABLE TEST1 (co1 string, co2 string) STORED AS RCFILE
SET hive.exec.compress.output=true;
SET io.seqfile.compression.type=BLOCK;

INSERT OVERWRITE TABLE TEST1
SELECT * FROM SourceTable


2.

CREATE TABLE TEST2 (co1 string, co2 string) STORED AS RCFILE

SEThive.exec.compress.output=true;
SETmapred.output.compress=true;
SETmapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec;
SETio.compression.codecs=org.apache.hadoop.io.compress.BZip2Codec;
SETio.seqfile.compression.type=BLOCK;

INSERT OVERWRITE TABLE TEST2 
SELECT * FROM SourceTable

多谢!


加载中
返回顶部
顶部