Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。
Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如：更丰富的类型系统、更类似SQL的查询语言、Table/Partition元数据的持久化等。
Hive 正在参加 2020 年度 OSC 中国开源项目评选，请投票支持！
Hive 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票，请投票支持！
-
概览
-
资讯
-
博客
-
问答
软件简介
发表于软件架构专区
2018/11/03 07:29
Apache Hive 3.1.1 已发布，更新如下： Bug [HIVE-18767] - Some alterPartitions invocations throw 'NumberFormatException: null' [HIVE-18778] - Needs to capture input/output entities in explain New Feature [HIVE-20420] - Provide a fallback authorizer when no other authorizer is in use 发行说明 Hive 是...
发表了资讯
2017/10/26 07:56
Apache Hive 2.3.1 已发布，更新如下： [HIVE-17514]- 使用 SHA-256 作为 cookie signer 来提高安全性 [HIVE-17562] - ACID 1.0 + ETL 策略应将空的压缩文件视为未覆盖之地 [HIVE-17664] - 重构并添加新的测试 [HIVE-17665] - 更新 netty-all 到最新的 4.0.x.Final [HIVE-17705] - HIVE-17562 正在返回不正确的结果 [HIV...
发表了资讯
2017/07/20 07:31
Apache Hive 2.3.0 已发布，本次更新带来了新特性、改进，以及 bug 的修复等。详细内容点此参阅。 Hive 是一个基于 Hadoop 的数据仓库平台。通过 Hive，我们可以方便地进行 ETL 的工作。Hive 定义了一个类似于 SQL 的查询语言：HQL，能够将用户编写的 SQL 转化为相应的 Mapreduce 程序基于 Hadoop 执行。 Hive 是 Facebo...
发表了资讯
2016/12/09 07:52
数据仓库平台 Apache Hive 2.1.1 发布了。本次部分更新如下： Sub-task [HIVE-13409] - Fix JDK8 test failures related to COLUMN_STATS_ACCURATE [HIVE-13549] - Remove jdk version specific out files from Hive2 [HIVE-13587] - Set Hive pom to use Hadoop 2.6.1 [HIVE-13593] - HiveServer2: Performance instru...
发表了资讯
2016/11/01 00:00
Apache Hive 2.1已于几个月前发布，它引入了内存计算，这使得Hive计算性能得到极大提升，这将会影响SQL On Hadoop目前的竞争局面。据测试，其性能提高约26倍。 Apache Hive 2.1新引入了6大性能，包括： （1）LLAP。Apache Hive 2.0引入了LLAP（Live Long And Process），而2.1则对其进行了极大的优化，相比于Apache Hive...
发表了资讯
2016/06/22 00:00
Apache Hive 2.1.0 发布了，完整改进记录如下： Sub-task [HIVE-9774] - Print yarn application id to console [Spark Branch] [HIVE-10280] - LLAP: Handle errors while sending source state updates to the daemons [HIVE-11107] - Support for Performance regression test suite with TPCDS [HIVE-11417] - Creat...
发表了资讯
2016/05/27 00:00
Apache Hive 2.0.1 发布，完整改进记录如下： Release Notes - Hive - Version 2.0.1 ** Sub-task * [HIVE-13362] - Commit binary file required for HIVE-13361 ** Bug * [HIVE-9499] - hive.limit.query.max.table.partition makes queries fail on non-partitioned tables * [HIVE-9862] - Vectorized execution cor...
发表了资讯
2016/02/17 00:00
Apache Hive 2.0.0 发布，完整改进记录如下： Release Notes - Hive - Version 2.0.0 Sub-task [HIVE-8858] - Visualize generated Spark plan [Spark Branch] [HIVE-9139] - Clean up GenSparkProcContext.clonedReduceSinks and related code [Spark Branch] [HIVE-9152] - Dynamic Partition Pruning [Spark Branch] ...
发表了资讯
2015/06/29 00:00
Apache Hive 1.2.1 发布，此版本主要改进内容如下： 改进 [HIVE-8769] - Physical optimizer : Incorrect CE results in a shuffle join instead of a Map join (PK/FK pattern not detected) [HIVE-10812] - Scaling PK/FK's selectivity for stats annotation [HIVE-10900] - Fix the indeterministic stats for some...
发表了资讯
2015/05/23 00:00
Apache Hive 1.0.1/1.1.1 发布，两个版本都修复了一个有关 LDAP 身份验证提供者实施漏洞的问题，并且两个版本都改善了 Hive 的连接服务。 两个版本具体更新信息如下： Apache Hive 1.0.1 发行页面。 Apache Hive 1.1.1 发行页面。 下载页面如下： https://hive.apache.org/downloads.html Hive是一个基于Hadoop的数据仓库...
发表了资讯
2015/05/19 00:00
Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如：更丰...
发表了资讯
2015/03/10 00:00
Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如：更丰...
发表了资讯
2015/02/08 00:00
Apache Hive 1.0.0 正式发布了。该版本原本是要命名为 Hive 0.14.1，但是团队感觉到了该用 1.x.y 的方式命名的时候了。不过该版本改变的内容并不多，值得关注的有两个： 为 HiveMetaStoreClient 定义 API 移除 HiveServer 1，全面使用 HiveServer 2 Hive 1.0 版本完整的改进记录包括： Bug [HIVE-5631] - Index creation...
发表了资讯
2014/06/08 00:00
Apache Hive 0.13.1 发布，Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 该版本主要是 bug 修复，包括： [HIVE-4576] - templeton.hive.properties does not allow values with...
发表了资讯
2013/10/16 00:00
Apache Hive 0.12.0 发布了，Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 该版本主要新特性包括： [HIVE-305] - Port Hadoop streaming's counters/status reporters to Hive...
发表了资讯
2013/05/17 00:00
Apache Hive 0.11.0 发布了，Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目...
发表了资讯
2012/05/01 00:00
Apache Hive 0.9.0 发布，Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 该版本包含大量新特性、改进和 bug 修复，详情请看改进记录。...
发表了资讯
2012/02/06 00:00
Hive 0.8.1发布，该版本修复了一些bug，详细请见：https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310843&version=12319268 Bug [HIVE-2616] - Passing user identity from metastore client to server in non-secure mode [HIVE-2629] - Make a single Hive binary work with both 0.20.x and 0...
发表了资讯
2011/12/20 00:00
Apache Hive 0.8.0 发布了，发行说明请看这里。 Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。
发表了资讯
2011/06/22 00:00
来自Apache 官网的消息，Apache Hive 团队宣布了Hive 0.7.1 版本发布。 Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive 0.7.1 下载： http://hive.apache.org/releases.html...
没有更多内容
加载失败，请刷新页面
发表了博客
2016/12/01 10:30
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduc...
2019/09/11 22:25
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发...
发表了博客
2016/12/01 10:22
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduc...
发表了博客
2016/12/01 10:23
1、Hive2 beeline Beeline 要与HiveServer2配合使用，支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口，一个启动Hive2 一个beeline连接hive2 #启动HiverServer2 , ./bin/hiveserver2 [root@node5 ~]# hiveserver2 16/02/23 22:55:25 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not e...
发表了博客
2016/12/01 10:31
1、Hive2 beeline Beeline 要与HiveServer2配合使用，支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口，一个启动Hive2 一个beeline连接hive2 #启动HiverServer2 , ./bin/hiveserver2 [root@node5 ~]# hiveserver2 16/02/23 22:55:25 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not e...
发表于AI & 大数据专区
2018/07/17 16:02
Hive命令行接口（CLI）提供了执行Hive QL、设置参数等功能，要启用CLI只需要在命令行下执行$HIVE_HOME/bin/hive命令。在命令下执行hive –H可以查看CLI选项，如下表所示： -d,--define <key=value> 应用于Hive命令...
发表了博客
2016/12/01 10:23
要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时...
发表了博客
2016/12/01 10:31
要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时...
2019/02/21 21:22
Hive编译器 文章目录 Hive编译器 编译器主要部分 Hive SQL的编译过程 编译器主要部分 Hive的编译器主要有以下几个部分： 名称 简要描述 解析器 将查询语句转换为解析树(AST Tree)。 语义分析器 将解析树转换为内部查询表示(此时任然是QueryBlock)。作为此步骤的一部分，将验证列名称并执行类似*的扩展。在此阶段还会执行...
2018/10/11 23:26
由 Alan Gates创建, 最终由 Andrew Sherman修改于2018年8月7日 原文链接：https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions 翻译：Google Google翻译，金山软件 金山词霸 校对：南大通用 范振勇 (如有翻译问题，请多指教) 一、Hive 3的警告 升级到Hive 3.0时，由之前版本创建的任何事务性表都需...
没有更多内容
加载失败，请刷新页面
2015/10/02 16:28
请问 python脚本执行hive的HQL语句，语句报错。 错误代码： 2015-09-30 01:43:26,568 ERROR [HiveServer2-Handler-Pool: Thread-39]: server.TThreadPoolServer (TThreadPoolServer.java:run(253)) - Error occurred during processing of message. java.lang.RuntimeException: org.apache.thrift.transport.TTranspor...
发表了问答
2015/09/06 23:55
@Booklearn 你好，想跟你请教个问题： 最近看了官方给的openSOC开源项目，但是看的云里雾里，不知道具体该如何搭建这样的一个环境，根据文档的介绍，我尝试搭建了 Hadoop Flume Kafka 等，但是不知道如何才能结合在一起，比较小白，想向您请教下，谢谢！
发表了问答
2014/08/05 08:39
我现在遇到一个问题，我用过JDBC连接hive执行查询任务，想要获得这条SQL执行的进度，但是我发现hive任务提交后产生的ApplicationID似乎获取不到，于是也就没有办法知道MR的执行进度了，哪位高人有解决办法？
2020/08/16 13:54
2020-08-16 13:48:38: Starting Hive Metastore Server SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/root/apache-hive-2.3.7-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/root/apache-tez-0.9.2-b...
发表于AI & 大数据专区
2019/06/28 22:08
我是南方人，大专，软件技术专业，2011年底出来实习做前端。实习大家都懂的，薪资低任务重，做了大半年，到2012年拿了毕业证就离职了。说实话当时的技术也菜的不行，只会div+css布局网页，写点简单的js特效而已。离职后颠沛流离到处找工作，大半年时间，换了三四份工作，深深感受到，没有一技之长，在这个社会很难混下去...
发表了问答
2020/08/24 22:30
CDH6.3.2集群上跑spark任务，出现此类问题，测试spark可以跑hive表数据。完全找不到解决方案，求高手解答，膜拜！
2017/08/16 15:41
配置hive on tez 完成之后运行sql,直接抛出如下异常,按照文档搭建,不知道什么配置除了问题,求解惑: ``` Status: Failed Vertex failed, vertexName=Map 1, vertexId=vertex_1502854421152_0001_1_00, diagnostics=[Vertex vertex_1502854421152_0001_1_00 [Map 1] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Verte...
发表于服务端专区
2020/05/28 17:21
hive.conf.HiveConf(line:2753) : HiveConf of name hive.strict.checks.cartesian.product does not exist Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAcc...
2018/09/03 16:48
配置：centos7.3 ，1核8G内存，hadoop版本2.7.3，hive版本0.12 -----------------------------分割线--------------- 具体代码： sql = "select count(1) from " + tableName; System.out.println("Running:" + sql); res = stmt.executeQuery(sql); System.out.println("执行“regular hive query”运行结...
发表于AI & 大数据专区
2020/04/14 10:11
我今天翻阅spark文档，发现文档只提到了可以用hive做数据源，但没说一定得安装hive，由于最近在探索利用大数据做报表，所以想问下spark能不能直接脱离hive，完成数仓工作
发表于AI & 大数据专区
2020/03/25 17:34
Unable to open a test connection to the given database. JDBC url = jdbc:derby:;databaseName=metastore_db;create=true, username = APP. Terminating connection pool (set lazyInit to true if you expect to start your database after your app). Original Exception: ------ java.sql.SQLException: Failed to...
发表于软件架构专区
2020/03/12 10:05
Caused by: java.lang.ExceptionInInitializerError at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105) at org.apache.spark.sql.hive.client.HiveClientImpl.newState(HiveClientImpl.scala:153) at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:118) at sun.ref...
发表于服务端专区
2020/02/24 10:03
: HiveConf of name hive.strict.checks.cartesian.product does not exist Exception in thread "main" org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree: Exchange SinglePartition +- *HashAggregate(keys=[], functions=[partial_count(1)], output=[count#48L]) +- HiveTableScan C...
发表于运维专区
2020/02/21 11:05
复制表结构和数据： create table new_table as select * from exists_table; 结构报错了 NoViableAltException(27@[799:1: ddlStatement : ( createDatabaseStatement | switchDatabaseStatement | dropDatabaseStatement | createTableStatement | dropTableStatement | truncateTableStatement | alterStatement | d...
发表于大前端专区
2019/11/28 11:33
同一个UDF在hive下是正常的，但是在impala下，文本都变成了？？？？ 我又写了一个直接打印输入的byte，结果发现impala在进入UDF函数的时候，就已经都变成了？？？ 网上也没搜到类似的问题，不知哪位大神遇到过这个问题，求解决方案
2018/09/01 16:07
服务器centos7.2 hive版本0.12 hadoop版本2.7.6 ----------------分割线----------------- 创建table的时候，用的外部表，放置于mysql，其中使用了partitioned by 关键字 （ partitioned by （logdate string,hour string） ）。 具体代码片段为： create external table people(id int,name string) partitioned by (...
发表于服务端专区
2019/09/27 15:28
0: jdbc:hive2://master:10000/> truncate student; Error: Error while compiling statement: FAILED: ParseException line 1:9 missing TABLE at 'student' near '<EOF>' (state=42000,code=40000) . 但是select不报错，这是为啥呢 0: jdbc:hive2://master:10000/> select * from student limit 1; INFO : Compiling c...
2019/04/24 14:53
发表于AI & 大数据专区
2019/04/15 20:41
用的主备mysql,目前mysql高峰期一直冲高，有什么成熟的db解决方案
没有更多内容
加载失败，请刷新页面
软件作者
评论 (4)