高性能图计算框架 Plato

BSD-3-Clause
C/C++ Python 查看源码»
跨平台
腾讯
2019-11-15
threeC

简介

Plato 高性能图计算框架主要有以下贡献:

  • Plato 能高效地支撑腾讯超大规模社交网络图数据的各类计算,且性能达到了学术界和工业界的顶尖水平,比Spark GraphX 高出 1-2 个数量级,使得许多按天计算的算法可在小时甚至分钟级别完成,也意味着腾讯图计算全面进入了分钟级时代。
  • Plato 的内存消耗比 Spark GraphX 减少了 1-2 个数量级,意味着只需中小规模的集群(10 台服务器左右)即可完成腾讯数据量级的超大规模图计算,打破了动辄需要上百台服务器的资源瓶颈,同时也极大地节约了计算成本。
  • Plato 隶属腾讯图计算 TGraph,起源于超大规模社交网络图数据,但可以完美适配其他类型的图数据,同时,Plato 作为高性能、可扩展、易插拔的工业级图计算框架,推动了业界超大规模图计算框架的技术进步。

核心能力 

Plato 目前主要提供两方面的能力:

  • 腾讯数据量级下的离线图计算
  • 腾讯数据量级下的图表示学习

Plato 的整体架构如下图所示。Plato 可运行在通用的 X86 集群,如 Kubernetes 集群、Yarn 集群等。在文件系统层面,Plato 提供了多种接口支持主流的文件系统,如 HDFS、Ceph 等等。

Plato 高性能图计算框架的核心是 Plato 自适应图计算引擎。目前 Plato 计算引擎针对不同类型的图算法,提供了稀疏稠密自适应计算模式、共享内存计算模式和流水线计算模式等,还设计了良好的接口支持接入新的计算通信模式。此外,Plato 自适应图计算引擎还包含了图划分、图表示以及多层级计算通信协同调度等模块。

计算引擎之上,Plato 为算法设计者或具体的业务提供多层次接口:从底层的 API,到图算法库,再到为具体业务量身打造的“解决方案”——图工具集。通过这些应用层的接口和工具,Plato 还可以把离线计算结果与其他机器学习算法相结合,共同支撑顶层的不同业务。

已开源的算法:

  • 图特征
    •  树深度/宽度
    •  图特征打包计算:节点数/边数/密度/节点度分布
    •  N-阶度
    •  HyperANF
  •  节点中心性指标
    •  KCore
    •  Pagerank
    •  Closeness
    •  Betweenness
  •  连通图 & 社团识别
    •  Connected-Component
    •  LPA
    •  HANP
  •  图表示学习
    •  Node2Vec-Randomwalk
    •  Metapath-Randomwalk
  •  聚类/分圈算法
    •  LDA
    •  FastUnfolding
  •  其他图相关算法
    •  BFS
    •  共同类计算
的码云指数为
超过 的项目
加载中
请先登录后再评论。

暂无资讯

暂无问答

ACL2020|PLATO:百度发布首个大规模隐变量对话模型

     本文对百度被 ACL 接收的论文《PLATO:Pre-trained Dialogue Generation Model with Discrete Latent Variable》进行解读,相关工作通用领域对话生成预训练模型PLATO 已于去年10月份...

04/17 17:20
74
0
腾讯开源进入爆发期,Plato助推十亿级节点图计算进入分钟级时代

腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。 相对于目前全球范围内其它的图计算框架,Plato可满足十亿级节点的超...

2019/11/14 18:19
27
0
腾讯正式开源图计算框架Plato,十亿级节点图计算进入分钟级时代

腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。 相对于目前全球范围内其它的图计算框架,Plato可满足十亿级节点的超...

2019/11/14 17:03
39
0
腾讯正式开源图计算框架Plato,十亿级节点图计算进入分钟级时代

腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。 相对于目前全球范围内其它的图计算框架,Plato可满足十亿级节点的超...

2019/11/14 17:04
11
0
PLATO-2是由百度研究开发的开放域聊天机器人模型,可以用中文和英文谈论任何话题。

PLATO-2使用潜在变量来生成不同的响应,并通过课程学习引入了有效的训练方法。实验结果表明,在中文和英文评估中,相对于其他SOTA模型,PLATO-2有了实质性的改进。 随着计算机对话系统的稳步...

07/17 10:44
37
0
win7下mingw使用asio,报错 '::UnregisterWaitEx' has not been declared

D:\share\workspace/plato/externs/boost_1_54_0/boost/asio/detail/impl/win_object_handle_service.ipp: In member function 'void boost::asio::detail::win_object_handle_service::move...

2015/03/25 10:12
125
0
第貳章學題 Lisp 3rd Edition, Winston & Horn

2-1: Each of the following things may be an atom, a list, or neither. Identify each accordingly. ATOM (THIS IS AN ATOM) (THIS IS AN EXPRESSION) ((A B) (C D) 3 (3) (LIST 3) (/ (+...

2012/01/18 13:04
212
0
看过的文献1

Charge of Socrates with impiety Impiety is heresy, not believing in the Gods the State believed in but he was also accused of teaching false gods. One of his arguments was that ...

2014/07/23 23:25
55
0
传引用与传值

c语言中,什么都是通过传值来实现的,c++继承了这一传统并将它作为默认方式。除非明确指定,函数的形参总是通过“实参的拷贝”来初始化的,函数的调用者得到的也是函数返回值的拷贝。 “通过...

2016/06/20 09:37
23
0
看过的文献2

Hedonism Aristippus of Cyrene (/ˌærəˈstɪpəs/; Greek: Ἀρίστιππος; c. 435 – c. 356 BCE) was the founder of the Cyrenaic school of Philosophy.[1] He was a pu...

2014/07/24 12:03
26
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部