TDW 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
TDW 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
TDW 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !

软件简介

腾讯分布式数据仓库项目,在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB级的存储和TB级的计算等。

这个项目主要的应用场景是构建低成本的数据仓库。我们知道传统的数据仓库需要专用的硬件和昂贵的软件授权,使用TDW,可以基于廉价的PC Server构建数据仓库。我们希望通过开源的TDW,降低数据仓库的成本和建设门槛,促进企业对数据价值的发掘,提升国内企业的信息化水平。

TDW在过去几年的设计思路一直是“开源软件”+“腾讯定制和优化”。使用开源软件,大大节省了我们的研发成本和时间,可以快速搭建起原型,比如TDW核 心的查询引擎,是基于apache hive这个开源软件。但是仅仅使用开源软件,又不能完全满足腾讯的业务需求,因此,我们需要再开源软件基础上,根据腾讯的业务特点,进行定制和优化。在 TDW的研发过程中,我们基于hive和hadoop,依次经历了数据仓库功能完善、易用性建设、高可用和稳定性加强,性能和成本优化,安全建设等定制和 优化。

TDW是腾讯海量数据处理平台中最核心的模块,它有以下几个作用:

  1. 提供海量的离线计算和存储服务。TDW是腾讯内部规模最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖掘等的存储和计算都是在TDW中进行。这是TDW提供的最基础的服务。

  2. 数据集中于共享功能。腾讯产品线较长,数据丰富,为了挖掘数据价值,经常需要访问多个产品的数据。TDW是腾讯公司级的数据仓库,这里集中了大多数业务的数据,业务在这里可以方便的进行数据共享和管理。

  3. TDW为其他大数据服提供基础和平台。这 有两个含义,首先是TDW对腾讯内部开放各种API接口,很多业务的数应用、数据处理平台可以基于TDW之上,由TDW提供最基础的存储于计算,业务在 TDW之上定制个性化的数据产品。其次,TDW内存放了腾讯大量有价值的数据,对于这些数据,各个业务有可能有一些不同的需求,这些需求可以抽象出一些固 定的数据服务,如海量数据点查询、快速多维分析、流式计算等,这些服务是TDW衍生出来的精细化的服务。

与其他商业数据库比,当然是成本优势。与社区的hive+hadoop比,TDW包含了大量功能,稳定性和性能优化,并且经过了腾讯生产环境的验证。

在架构上,TDW并没有对开源软件做大的修改。TDW的存储和计算,主要采用hadoop的HDFS和MapReduce,TDW的SQL查询引擎主要基于Hive。

展开阅读全文

评论 (1)

加载中
该评论暂时无法显示,详情咨询 QQ 群:912889742
更多评论
暂无内容
发表了博客
2018/07/25 10:29

相似人群画像算法

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由week 发表于云+社区专栏 一、数据源 1、相似人群数据存在TDW库中,数据字典说明: CREATE TABLE sim_people_tdw_tbl( uid STRING COMMENT 'reader id', sim_uids STRING COMMENT 'sim_uids', sim_num BIGINT COMMENT 'sim_num', update_date STRING COMMENT 'update_date' ) 字段 类型 含义 uid string 用户标识 sim_uids string 与uid喜好相...

0
0
发表了博客
2016/11/14 13:39

腾讯的76款开源软件

工具: AlloyDesigner(可视化Web构建工具)致力于提高前端生产效率的浏览器内运行工具。 AlloyLever(Web开发调试工具) APT(Android性能测试工具)无需源代码,支持第三方应用,适合小白用户,开发语言Java,跨平台,支持同时监控多个进程。 DanceRequest(AJAX异步队列工具) Livepool(Web开发调试工具) Mobug(移动Web远程调试工具) Rythem(跨平台Web抓包分析工具) TscanCode(静态代码扫描工具) vConsole(手机前端...

0
2
发表了博客
2018/05/25 13:03

SRAM(静态)存储器芯片的读/写周期

一、 要保证正确地读/写,必须注意CPU时序与存储器读/写周期的配合。一般存储器芯片手册都会给出芯片读/写周期的时序图。 Intel 2114芯片的读、写周期时序如图所示。 二、 读周期 读操作时,必须保证片选信号为低电平,读写信号为高电平。 tRC (读周期时间):指对芯片连续两次读操作之间的最小间隔时间。 tA (读出时间):从给出有效地址后,经过译码电路、驱动电路的延迟,到读出所选单元内容,并经I/O电路延迟,直到数据在外...

0
0
2020/12/04 10:50

微信支付万亿日志在Hermes中的实践

导语 | 微信支付日志系统利用 Hermes 来实现日志的全文检索功能,自从接入以来,日志量持续增长。目前单日入库日志量已经突破万亿级,单集群日入库规模也已经突破了万亿,存储规模达 PB 级。本文将介绍微信支付日志系统在 Hermes 上的实践,希望与大家一同交流。文章作者:宋新村,腾讯大数据高级运维工程师。 一、业务规模 目前微信支付日志单日最大入库总量已达到万亿级,单日入库存储量达 PB 级,而在春节等重大节假日预计整...

1
2
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
75 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部