​Tera 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
​Tera 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
​Tera 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 BSD
开发语言 C/C++
操作系统 Linux
软件类型 开源软件
开源组织 百度
地区 国产
投 递 者 fxsjy
适用人群 未知
收录时间 2015-03-25

软件简介

Tera 是一个高性能、可伸缩的数据库系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。

特性

  • 全局有序

  • 热点自动分片

  • 数据强一致

  • 多版本,自动垃圾收集

  • 按列存储,支持内存表

  • 动态schema

  • 支持表格快照

  • 高效随机读写

数据模型

Tera使用了bigtable的数据模型,可以将一张表格理解为这样一种数据结构:
map<RowKey, map<ColummnFamily:Qualifier, map> > 
其中RowKey、ColumnFamily、Qualifier和Value是字符串,Timestamp是一个64位整形。ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。

系统架构

系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器,承载着所有的数据管理与访问;Master是系统的仲裁者,负责表格的创建、schema更新与负载均衡;ClientSDK包含供管理员使用的命令行工具teracli和给用户使用的SDK。 表格被按RowKey全局排序,并横向切分成多个Tablet,每个Tablet负责服务RowKey的一个区间,表格又被纵向且分为多个LocalityGroup,一个Tablet的多个Localitygroup在物理上单独存储,可以选择不同的存储介质,以优化访问效率。

架构图

系统依赖

  • 使用分布式文件系统(HDFS、NFS等)持久化数据与元信息

  • 使用zookeeper选主与协调

  • 使用Sofa-pbrpc实现跨进程通信

系统构建

参考BUILD

使用示例

参考wiki

反馈与技术支持

tera_dev@baidu.com

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(4) 发布并加入讨论🔥
发表了资讯
2017/01/13 13:56

分布式数据库 Tera 发布 0.5.3 版本二进制

百度开源的万亿量级数据库Tera发布0.5.3版本二进制,适配主流x86_64 Linux系统,开箱即玩。 Tera简介 Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平...

6
26
发表了资讯
2016/12/21 13:49

Tera 0.5.3 发布,百度万亿量级数据库

百度开源的万亿量级数据库Tera发布0.5.3版本。 Tera简介 Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。 项目主页:点击查看 版本要点 将tera的...

8
36
发表了资讯
2016/12/09 09:34

百度开源的万亿量级数据库 Tera 发布0.5.2版本

百度开源的万亿量级数据库Tera发布0.5.2版本。 Tera简介 Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。 版本要点 支持 travis 更新build脚本,...

39
70
发表了资讯
2016/11/08 08:33

Tera 0.5.1 发布,百度万亿量级数据库

百度开源的万亿量级数据库Tera发布0.5.1版本。 Tera简介 Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。 版本要点 将tera的key作为mysql的pri...

11
34
发表了资讯
2016/10/25 00:00

Tera 0.5.0 发布,百度万亿量级数据库

Tera 0.5.0发布了,更新如下: 源码更新截至2016.08.01 base: master分支 0.5.0 版本要点 动态负载均衡升级,支持写入、扫描负载的均衡 分片分裂合并优化 支持写热点加速分裂 写负载高的tablet不进行合并 支持回传客户端分片状态更新时间 teracli支持传入分片集合进行compact mysql-tera支持mysql 5.6.31 teracli支持不可见字符输出转义选项 sdk timeout性能优化 0.5.0 问题修复 增加合并超时容错 修复libtera_c锁错误 SDK cook...

23
71
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
jackson-mapper-asl 代码问题漏洞
XXE
jackson-mapper-asl是一款基于Jackson JSON处理器构建的数据映射软件包。 jackson-mapper-asl 1.9.x版本中存在代码问题漏洞。远程攻击者可借助特制数据利用该漏洞获取敏感信息。
CVE-2019-10172 MPS-2019-15048
2022-08-08 18:58
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
4 评论
148 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部