淘宝Hadoop作业平台 宙斯Zeus

GPL
Java
跨平台
阿里巴巴
2013-05-03
红薯

宙斯(zeus)是什么

宙斯是一个完整的Hadoop的作业平台
从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期

从功能上来说,支持:
Hadoop MapReduce任务的调试运行
Hive任务的调试运行
Shell任务的运行
Hive元数据的可视化查询与数据预览
Hadoop任务的自动调度
完整的文档管理

宙斯开源,不仅仅是开源技术,更是开源产品

开发中心,一个文档管理,开发调试的环境,在任务上线前的主要工作区域
调度中心,生产任务的调度环境,当任务调试通过后,在此处配置调度信息进行生产调度

宙斯运行原理

使用指南

快速启动(Quick Start):
1.设置配置项
在/web/src/main/filter/antx.properties 中对配置项进行设置
设置完成后,复制到${user.home}/antx.properties处
2.pom.xml本地jar地址修改
在/web/pom.xml中修改properties中的local.highcharts
因为此jar不在maven仓库中,此jar已经在/web/libs/highcharts-1.4.0.jar
将systemPath路径设置为绝对路径
3.数据库配置
zeus数据库:/web/src/main/resources/persistence.xml中对数据库进行配置
hive元数据库:/web/src/main/resources/templates/hive-site.xml中对Hive metastore数据库进行配置
4.打包
mvn package
打包在/web/target/exploded/zeus-web.war下
使用tomcat之类容器运行即可

以上步骤可以保证这个web项目正常启动,如果需要正式上线此项目,还需要配置以下内容:
1.动态模板配置
宙斯系统中有很多模板是可以动态修改的,包括以下一些,建议在正式运行之前都配置好
首页展示内容 启动后参见页面指南
首页通知内容 启动后参见页面指南
hive 默认udf函数 com.taobao.zeus.jobs.sub.HiveJob实现TODO内容

2.登陆系统
宙斯不包含单独的注册系统
建议使用单点登陆来实现登陆
大致原理:
(1) web.xml添加一个filter,用来跳转到单点登陆系统
(2) Spring容器中添加一个Bean,实现com.taobao.zeus.web.Login.Filter.SSOLogin接口

3.配置hadoop相关环境 默认的hadoop-site.xml和hive-site.xml在 /web/src/main/resources/templates下
修改相应的配置以对应相应的hadoop集群

4.超级管理员配置 在com.taobao.zeus.store.Super中进行配置

加载中

评论(26)

D-_-D
D-_-D
从新改
l
liangheming
开源项目怎么没有了
无法显示内容
无法显示内容
tsl0922
tsl0922
这个图标碉堡了!绝对的DOTA爱好者20 宙斯Zeus
缪斯的情人
缪斯的情人
我还以为缪斯呢 宙斯Zeus
纳兰清风
纳兰清风
哈哈,果然zeus 宙斯Zeus
吐槽的达达仔
吐槽的达达仔
Zeus图标碉堡了!! 宙斯Zeus
合理
合理
看到这个图标我就笑喷了,一看就是个dota 宙斯Zeus
高东
高东
这跟美国的zeus盾是啥关系? 宙斯Zeus
lping
lping
这个要顶,改天研究研究 宙斯Zeus

暂无资讯

18
回答
【开源访谈】Zeus 作者 徐恒飞 访谈实录

【关于开源访谈】 开源访谈是开源中国推出的一系列针对国内优秀开源软件作者的访谈,以文字的方式记录并传播。我们希望开源访谈能全面的展现国内开源软件、开源软件...

2014/01/14 15:35

没有更多内容

加载失败,请刷新页面

没有更多内容

Mosquitto 上建立到 EMQ X 的桥接

EMQ X 节点可以被其他类型的 MQTT 消息中间件桥接,实现跨平台的消息订阅和发送。本文我们以一个配置实例来说明如何配置 Mosquitto 到 EMQ X 的桥接。 Mosquitto 是一个小型轻量的开源 MQTT...

08/28 14:13
55
0
机器人底盘价格

随着人工智能的兴起,机器人行业受到了前所未有的关注,而机器人底盘作为机器人中的重要硬件也迎来了蓬勃发展。它承载着机器人定位、建图、导航、避障等多种功能,是移动机器人不可或缺的一部...

01/28 17:13
6
0
springBoot 搭建web项目(前后端分离,附项目源代码地址)

springBoot、Maven多模块,数据库采用mysql和redis,Restful架构的ajax请求,实现简单的CRUD

2017/11/01 14:34
18.6K
5
ab测试网站吞吐率介绍

ab测试网站吞吐率介绍

2015/09/06 11:09
103
0
思岚科技通用机器人底盘ZEUS将亮相2019 CES

据各大媒体报道,2019年1月8日至1月11日的CES展上,国内领先机器人定位导航研发企业思岚科技受邀参展,将重点展示旗下智能行走方案。而曾获“最佳商用机器人奖”的ZEUS也将重磅出席此次盛会。...

2018/12/28 10:54
8
0
外网访问内网Zeus

本地安装了一个Zeus,只能在局域网内访问,怎样从外网也能访问到本地的Zeus呢?本文将介绍具体的实现步骤。 1. 准备工作 1.1 安装Java 1.7及以上版本 执行命令java -version检查Java安装和配...

2018/11/08 13:11
11
0
思岚绽放“2018日本机器人周” 引领机器人自主定位导航未来

10月17日-19日,为期3天的日本机器人周在东京有明国际展览中心已圆满落下帷幕,这是目前日本规模最大的服务机器人及机器人相关技术展会,国内机器人自主定位导航领导品牌的思岚科技,应邀携带...

2018/10/22 10:43
0
0
直击CES 2019 带你围观思岚科技那些“亮眼”展品

2019 CES于美国当地时间1月8日在拉斯维加斯拉开帷幕,思岚科技凭借机器人智能行走方案等一系列产品,在素有全球科技产业风向标之称的CES上备受关注,成为本次CES展上重要看点,向来自全球的观...

01/10 16:16
8
0
遍历模块基质的汇编代码

我从 zeus 木马中扣出来的 自己做了改写 使得找不到 kernel.dll 的时候不会出错 。。。 #include <Windows.h> #include <stdio.h> WCHAR *str1 = L"%s "; WCHAR *str2 = L"%X \n"; WCHAR *...

2013/03/27 10:12
94
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部