Apache Tez 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache Tez 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Apache Tez 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Apache Tez 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Apache Tez 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 云计算
开源组织 Apache
地区 不详
投 递 者 Ryan-瑞恩
适用人群 未知
收录时间 2015-10-21

软件简介

Tez 是支持 DAG 作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能。Tez 并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。

从本质上讲,tez 非常简单,只有两个组成部分:

  • 数据处理管道引擎,其中一个引擎可以插入输入,处理和输出实现以执行任意数据处理
  • 数据处理应用程序的主机,通过它可以将上述任意数据处理“任务”组合到任务 DAG 中,以根据需要处理数据。通用母版被实现为 Apache Hadoop YARN ApplicationMaster。

通过允许诸如 Apache Hive 和 Apache Pig 之类的项目运行复杂的 DAG 任务,Tez 可以用于处理数据,该数据以前需要执行多个 MR 作业,而现在在单个 Tez 作业中,如下所示: 

Flow for a Hive or Pig Query on MapReduceFlow for a Hive or Pig Query on Tez

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
2015/10/22 09:06
回复
举报
更多评论
暂无内容
发表了博客
2019/06/18 12:35

hive on tez

hive运行模式 hive on mapreduce 离线计算(默认) hive on tez   YARN之上支持DAG作业的计算框架 hive on spark 内存计算 hive on tez Tez是一个构建于YARN之上的支持复杂的DAG任务的数据处理框架。它由Hontonworks开源,它把mapreduce的过程拆分成若干个子过程,同时可以把多个mapreduce任务组合成一个较大的DAG任务,减少了mapreduce之间的文件存储,同时合理组合其子过程从而大幅提升MapReduce作业的性能。 安装tez tez的...

0
0
发表于AI & 大数据专区
2018/12/22 14:12

hive on tez

最近公司从cdh转到了aws的emr 在使用hive上会有一些差别 在这里记录一下 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 这个报错基本上都没有起mapreduce 因为没有applicationid所以查yarn日志是查不到的 只能去/var/hive下看日志 如果此时集群上没有其他任务在执行 congratulations 你可以在当前目录实时日志下查到你的报错 但是如果此时还有其他任务在执行 那就很难了。除了一份实...

0
0
发表了博客
2019/05/13 22:05

配置 Hive On Tez

配置 Hive On Tez 标签(空格分隔): hive Tez 部署底层应用 简单介绍 介绍:tez 是基于hive 之上,可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点,tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右,大任务7-10倍左右,根据情况不同可能不一样。 对于 Tez-0.9.0 以及更高版本, Tez 需要 Apache Hadoop 版本为 2.7.0 或更高 安装 Apache Hadoop 2.7.0 或更高版本,这里选取Tez-0.9.1 版本,在Centos ...

0
0
发表了博客
2019/06/19 10:32

hive on tez 错误记录

1、执行过程失败,报 Container killed on request. Exit code is 143 如下图: 分析:造成这种原因是由于总内存不多,而容器在jvm中占比过高,修改tez-site.xml文件,添加如下配置: <property> <name>tez.container.max.java.heap.fraction</name> <value>0.2</value> #调低内存占比,默认是0.8(也就是80%) </property> 2、ERROR [main] exec.TaskRunner: Error in executeTask java.lang.NoSuchFiel...

0
0
发表于AI & 大数据专区
2016/04/25 02:07

TEZ计算引擎部署

一、tez简介 tez官网:http://tez.apache.org 在使用tez作为计算引擎使用之前先说明下tez-ui。tez-ui是查看tez任务执行日志的的web界面,依赖于yarn的timeline服务。tez0.8.3中又增加了tez-ui2。 timeline服务是apache hadoop2.6.0之后加入作为yarn的一个子服务。jobhistoryserver只能储存Mapreduce的历史日志,但是不支持诸如tez、spark等其他计算引擎历史日志的访问,所以在2.6.0中增加了timeline服务。timelineserver同时支持...

0
1
发表了博客
2015/05/28 23:40

Apache TEZ 编译、安装、配置、运行

一、前提环境 linux 集群 jdk6+ maven3+ hadoop2.6.0+ protobuf ///参考:http://www.tuicool.com/articles/nYZrmi ##前提:需要gcc, gcc-c++, make, build等编译环境 ##yum -y install gcc gcc-c++ libstdc++-devel make build 1. 下载protobuf源代码(当前最新版本为:2.5.0) wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz 2. 解压,编译,安装 tar zxvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./c...

0
1
发表了博客
2018/02/05 10:15

hive on tez 任务失败

最近再hue 集群查询任务经常失败,经过几天的观察,终于找到原因,报错如下 Status: Failed Vertex failed, vertexName=Map 1, vertexId=vertex_1514128895713_0770_1_00, diagnostics=[Task failed, taskId=task_1514128895713_0770_1_00_000006, diagnostics=[TaskAttempt 0 failed, info=[Container container_1514128895713_0770_01_000008 finished with diagnostics set to [Container failed, exitCode=-100. Container ...

0
0
发表了博客
2018/07/23 18:39

hive on tez自定义jobname

  我们数据部门有这样一个规范:那就是提交作业的时候会给作业起一个名字,方便在yarn界面进行搜索, 比如mapreduce,hive on mr都可以通过mapreduce.job.name参数进行指定,spark在提交的时候也可以通过--name参数进行指定该应用的名字,这样在作业量很多的情况下,我们就可以根据名字很方便的找出某个业务模块的作业,前提是名字取得规范。但是hive on tez就比较恶心了,没有对应的参数去自定义作业的名字,只是显示这样的名字...

0
0
发表了博客
2019/03/27 15:19

tez安装步骤

文档:https://tezos.gitlab.io/mainnet/introduction/howtouse.html#the-binaries    https://tezos.gitlab.io/mainnet/introduction/howtouse.html 二进制文件 编译成功后,您应该具有以下二进制文件: tezos-node:tezos守护进程本身; tezos-client:命令行客户端和基本钱包; tezos-admin-client:节点的管理工具; 客户端help tezos-client man -v 3 tezos-client transfer tezos-client man set 通过源码构建 sudo apt...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
48 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部