腾讯分布式数据仓库 TDW

Apache
Java
跨平台
腾讯
2014-03-30
红薯

腾讯分布式数据仓库项目,在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB级的存储和TB级的计算等。

这个项目主要的应用场景是构建低成本的数据仓库。我们知道传统的数据仓库需要专用的硬件和昂贵的软件授权,使用TDW,可以基于廉价的PC Server构建数据仓库。我们希望通过开源的TDW,降低数据仓库的成本和建设门槛,促进企业对数据价值的发掘,提升国内企业的信息化水平。

TDW在过去几年的设计思路一直是“开源软件”+“腾讯定制和优化”。使用开源软件,大大节省了我们的研发成本和时间,可以快速搭建起原型,比如TDW核 心的查询引擎,是基于apache hive这个开源软件。但是仅仅使用开源软件,又不能完全满足腾讯的业务需求,因此,我们需要再开源软件基础上,根据腾讯的业务特点,进行定制和优化。在 TDW的研发过程中,我们基于hive和hadoop,依次经历了数据仓库功能完善、易用性建设、高可用和稳定性加强,性能和成本优化,安全建设等定制和 优化。

TDW是腾讯海量数据处理平台中最核心的模块,它有以下几个作用:

  1. 提供海量的离线计算和存储服务。TDW是腾讯内部规模最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖掘等的存储和计算都是在TDW中进行。这是TDW提供的最基础的服务。

  2. 数据集中于共享功能。腾讯产品线较长,数据丰富,为了挖掘数据价值,经常需要访问多个产品的数据。TDW是腾讯公司级的数据仓库,这里集中了大多数业务的数据,业务在这里可以方便的进行数据共享和管理。

  3. TDW为其他大数据服提供基础和平台。这 有两个含义,首先是TDW对腾讯内部开放各种API接口,很多业务的数应用、数据处理平台可以基于TDW之上,由TDW提供最基础的存储于计算,业务在 TDW之上定制个性化的数据产品。其次,TDW内存放了腾讯大量有价值的数据,对于这些数据,各个业务有可能有一些不同的需求,这些需求可以抽象出一些固 定的数据服务,如海量数据点查询、快速多维分析、流式计算等,这些服务是TDW衍生出来的精细化的服务。

与其他商业数据库比,当然是成本优势。与社区的hive+hadoop比,TDW包含了大量功能,稳定性和性能优化,并且经过了腾讯生产环境的验证。

在架构上,TDW并没有对开源软件做大的修改。TDW的存储和计算,主要采用hadoop的HDFS和MapReduce,TDW的SQL查询引擎主要基于Hive。

加载中

评论(1)

lims
lims
源码地址:https://github.com/amutu/tdw或者https://code.csdn.net/Tencent/tdw #TDW#

暂无资讯

暂无问答

2014年postgres中国用户大会记录

2014年postgres中国用户大会记录

2014/12/14 22:31
43
0
python如何帮我在投资中获取更高收益

搞技术的大都比较纯粹,比较实在,除了工资之外基本就没有别的收入了(少部分人能接外包赚外块)。或许是迫于生活的压力,或许是不甘于固定的工资,或许是出于技术人骨子里的好奇,亦或是这几...

2018/07/26 13:53
325
1
腾讯的76款开源软件

工具: AlloyDesigner(可视化Web构建工具)致力于提高前端生产效率的浏览器内运行工具。 AlloyLever(Web开发调试工具) APT(Android性能测试工具)无需源代码,支持第三方应用,适合小白用...

2016/11/14 13:39
58
0
2014年中国开源优秀项目获奖介绍

2014年开源中国开源世界已于6月27-28日于北京举行,会上发布了中国开源杰出人物和中国开源优秀项目,杰出人物资料太多木有记全,坐等媒体更新,现将开源优秀项目放上来,以飨各位

2014/06/30 14:01
101
0
大数据统计之基数估计(Cardinality Estimation)

1、解读Cardinality Estimation算法(第一部分:基本概念) http://blog.codinglabs.org/articles/cardinality-estimation.html 2、解读Cardinality Estimation算法(第二部分:Linear Coun...

2014/08/03 00:29
582
0
腾讯大数据之 TDW 计算引擎解析——Shuffle

腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,目前单集群最大规...

2014/05/24 03:15
1K
0
Springboot写的Hessian例子

SpringBoot中添加Hessian框架 Hessian一般用来做RPC接口,通过http传输二进制文件,用于程序和程序之间的通信。 在这个例子中,有两个项目,客户端(hessianClient)和主项目(asset) 1.新建...

2018/06/22 10:04
31
0
实用高效,27款腾讯热门开源项目推荐

腾讯作为互联网行业的一大巨头,一直都不吝啬将好的技术开放,与广大开发者共享,未来也将推出VR开放平台和AI技术。腾讯在全球合作伙伴大会披露了未来五年的发展思路,在技术共享方面,腾讯希...

2016/10/19 07:11
14.5K
39
HBTC2012 参会感受

2012年11月30日,为期两天的 HBTC——Hadoop & BigData Technology Conference 如期举行。这是我第一次参加这种盛会。大会主持人介绍HBTC的前身是中国云计算开发者大会。开场前我大概看了看参...

2012/12/12 10:43
103
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部