基于参数服务器理念的机器学习框架 Angel

基于参数服务器理念的机器学习框架 Angel

BSD
Java
跨平台
腾讯
2017-06-16
王练

Angel 是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优,并具有广泛的适用性和稳定性,模型维度越高,优势越明显。 Angel 由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。

Angel 的核心设计理念围绕模型。它将高维度的大模型合理切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习算法。

Angel 基于 Java 和 Scala 开发,能在社区的 Yarn 上直接调度运行,并基于 PS Service ,支持 Spark on Angel ,未来将会支持图计算和深度学习框架集成。

架构设计


系统框架

的码云指数为
超过 的项目
加载中

评论(16)

开源中国首席罗纳尔多
模型怎么定义的?
一路发168
一路发168
myeclipse 导入后 一堆错啊 什么情况? 谁遇到过
九层塔炒薄壳
九层塔炒薄壳
貌似使用keynote画的
溪涧顽石
溪涧顽石
你们。。。这是个求 bgm 一个意思么?
_君剑
_君剑
Pencil ?
5th_days
5th_days
画图的工具不错,求介绍!
philonic
philonic
画图的工具不错,求介绍!
kiki1000
kiki1000
java写的,就不care了
二进制艺术
二进制艺术
为什么呢?
********
********
画图工具不存。。总能抓住重点
久永
久永
bsd协议,可以考虑一下。

腾讯 Angel 成为国内首个从 LF AI 基金会毕业的开源项目

20 日,Linux 基金会旗下面向 AI 领域的顶级基金会——LF AI 基金会(Linux Foundation Artificial Intelligence Foundation)宣布,腾讯开源的机器学习项目 Angel 顺利毕业。 据了解,这是中...

2019/12/20 17:08

腾讯首个 AI 开源项目 Angel 发布 3.0 版本:迈向全栈机器学习平台

2019年8月22日,腾讯首个 AI 开源项目 Angel 正式发布 3.0 版本。Angel 3.0 尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段:特征工程、模型训练、超参数调节和模型服务...

2019/08/23 21:36

腾讯高性能分布式机器学习平台 Angel 2.0.2 发布

Angel 2.0.2 版本已发布。该版本对 Spark On Angel FTRL 算法做了进一步的优化,添加了对 float 模型格式的支持,同时优化了模型划分分区数设置,一个合理的模型分区数对提升计算性能是非常有...

2019/02/02 06:58

腾讯高性能分布式机器学习平台 Angel 2.0.0 发布

Angel 2.0.0 版本已发布,在 2.0.0-alpha 版本上修复了大量 bug 并对稳定性做了较多的优化;同时对部分算法进行了重构。 Angel Core [ISSUE-418] 对 PS 端 Matrix 存储方式进行了优化,当模型...

2018/12/04 08:02

腾讯分布式机器学习平台 Angel 2.0.0 正式发布

Angel 2.0.0 正式版已发布,修复了 2.0.0-alpha 版本的大量 Bug ,同时对大模型存储和计算做了一些优化,可以支撑千亿维度以上的模型。为了更好的与下游系统对接,新版本支持自定义的模型保存...

2018/11/09 07:52

腾讯 Angel 正式加入 LF 深度学习基金会,代码库已迁移

今年3月我们曾报道过,腾讯计划将开源的 Angel 项目贡献给 LF 深度学习基金会。8月27日,Angel 正式宣布加入 LF 基金会,并表示即将发布可达万亿级维度特性计算的 2.0 版本。 Angel 是一个基...

2018/08/29 08:18

Linux 基金会推出 LF 深度学习基金会,腾讯华为等加入

微软 Azure 首席技术官 Mark Russinovich 表示,最近人工智能(AI)和机器学习(ML)的兴起与开源 AI和 ML 软件分不开。诸如 Core ML,Google TensorFlow 和 ONNX 等开源项目都推动了 AI 和 ...

2018/03/28 08:16

腾讯分布式机器学习平台 Angel 1.2.0 发布

Angel 1.2.0,加入了较多的优化和改进,新增了2个算法,修复了多个Bug,建议所有的用户都升级到这个版本,为1.3.0版本的进一步升级做好准备。 Angel Core Long类型Key的稀疏Double Vector/M...

2017/09/14 15:03

腾讯分布式机器学习平台 Angel 1.1.0 发布

Angel 1.1.0版本,是一个小步优化版本,修复了首发版本诸多的Bug,并加入了如下细节功能和小改进: Angel Core psFunc的update引入并发控制 模型优化:加入明文格式转换支持 Netty升级到4.x...

2017/07/31 01:34

腾讯 Angel 1.0 正式版发布,机器学习高性能计算平台

在去年 12 月 18 日的腾讯大数据技术峰会暨 KDD China 技术峰会上,腾讯大数据宣布推出了面向机器学习的「第三代高性能计算平台」——Angel,并表示将于 2017 年开放其源代码。现在,2017 年...

2017/06/17 12:43

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

优先队列广搜 hdu 1242

Rescue Problem Description Angel was caught by the MOLIGPY! He was put in prison by Moligpy. The prison is described as a N * M (N, M <= 200) matrix. There are WALLs, ROADs, and...

2013/11/15 21:27
26
0
体验js中splice()的强大(插入、删除或替换数组的元素)

处理数组的方法很多,javascript splice()算是最强大的了,它可以用于插入、删除或替换数组的元素。 Syntax ``` array.splice(start) array.splice(start, deleteCount) array.splice(start...

2016/12/20 18:00
108
0
从关系型数据库到分布式机器学习,揭秘腾讯大数据十年发展历程

大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今,大数据技术逐渐成熟,涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未...

2019/10/18 18:45
61
0
数据权限界面设计

欢迎fork star 本人开源项目 本文介绍的所有代码均再码云中,如果对你有帮助,欢迎点个star支持,谢谢 在权限管理中,有数据权限管理菜单,选中数据权限管理时,加载列表,列表中展示角色实例...

2019/04/29 15:32
577
0
SpringBoot多数据源事物失效

欢迎fork star 本人开源项目 本文介绍的所有代码均再码云中,如果对你有帮助,欢迎点个star支持,谢谢 SpringBoot使用多数据源时,事物控制 码云地址 https://gitee.com/imbobo_bo/angel-bo...

2019/01/08 13:51
1.2K
1
Research on Houdini

//Code by Liuyangping //just has color with shadow pass,No highlight #pragma hint acceptshadow toggle #pragma label acceptshadow "AcceptShadow" //color pannel #pragma hint basec...

2012/11/01 11:59
117
0
数据库备份还原工具EMS SQL Angel for SQL Server发布1.3版本

EMS公司,是专门从事企业数据库以及内置于多层次客户服务器结构自动化开发。其EMS SQL Angel for SQL Server工具,便是SQL Servers数据库数据备份还原工具,并且还能使用压缩机制和执行维护工...

2013/11/15 11:09
63
0
[推荐] Tencent和360共存的方案

首先先鄙视下Tencent Tencent这点小伎俩,估计到最后害的还是自己, 解决方法(我已测试20分钟了,没问题)。 WIN7: C:\Users\用户名\AppData\Roaming\Tencent\QQ XP路径:C:\Documents and S...

2010/11/04 10:08
25
0
国内BAT等技术团队博客

美团技术团队博客:http://tech.meituan.com/ 腾讯社交用户体验设计(ISUX):http://isux.tencent.com/ 京东设计中心:http://jdc.jd.com 百度搜索用户体验中心:http://ued.baidu.com/ 一淘U...

2016/05/04 10:49
97
1
spring-cloud Finchley.SR2版本 升级微服务到springboot 2.0

读书笔记 spring-cloud Finchley.SR2版本 升级微服务到springboot 2.0 贴码云 https://gitee.com/imbobo_bo/angel-bo 欢迎fork star 本人开源项目 本文介绍的所有代码均再码云中,如果对你有...

2019/01/03 15:10
151
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部