Angel 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Angel 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Angel 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Angel 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Angel 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Angel 是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优,并具有广泛的适用性和稳定性,模型维度越高,优势越明显。 Angel 由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。

Angel 的核心设计理念围绕模型。它将高维度的大模型合理切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习算法。

Angel 基于 Java 和 Scala 开发,能在社区的 Yarn 上直接调度运行,并基于 PS Service ,支持 Spark on Angel ,未来将会支持图计算和深度学习框架集成。

架构设计

系统框架

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (16)

加载中
模型怎么定义的?
2019/12/10 10:30
回复
举报
打分: 力荐
myeclipse 导入后 一堆错啊 什么情况? 谁遇到过
2018/01/08 15:27
回复
举报
打分: 推荐
貌似使用keynote画的
2018/03/13 17:02
回复
举报
打分: 还行
你们。。。这是个求 bgm 一个意思么?
2017/07/31 09:21
回复
举报
Pencil ?
2017/07/31 09:18
回复
举报
画图的工具不错,求介绍!
2017/07/31 09:16
回复
举报
画图的工具不错,求介绍!
2017/07/11 11:54
回复
举报
java写的,就不care了
2018/11/12 18:54
回复
举报
为什么呢?
2019/11/28 22:54
回复
举报
画图工具不存。。总能抓住重点
2017/07/04 17:44
回复
举报
bsd协议,可以考虑一下。
2017/06/19 09:42
回复
举报
更多评论
发表于AI & 大数据专区
2020/03/10 08:36

腾讯发布研发数据报告:2019 年新增 12.9 亿行代码,Go 语言受欢迎

2020 年 3 月 9 日,腾讯正式对外发布了《腾讯研发大数据报告》。在这份报告中,腾讯披露了2019 年公司在产品及技术研发方面的重要数据,这也是腾讯自技术委员会成立以来第一次主动对外披露研发相关大数据。 报告显示,2019 年,腾讯研发人员占比达到 66%,在中国诸多科技公司中位居前列。同时,腾讯 2019 年新增研发项目超过 3500 个——随着腾讯全面拥抱产业互联网的战略推进,2019 年 To B 项目数量比 2018 年增长了 77%。 ...

26
27
发表于AI & 大数据专区
2019/12/20 17:08

腾讯 Angel 成为国内首个从 LF AI 基金会毕业的开源项目

20 日,Linux 基金会旗下面向 AI 领域的顶级基金会——LF AI 基金会(Linux Foundation Artificial Intelligence Foundation)宣布,腾讯开源的机器学习项目 Angel 顺利毕业。 据了解,这是中国首个从 LF AI 基金会毕业的开源项目,意味着 Angel 成为世界顶级 AI 开源项目。LF AI 基金会董事、腾讯 AI 专家肖涵介绍,LF AI 基金会对开源项目的毕业流程有非常严格的规定,其会基于项目的技术含量、开源生态与社区互动等维度,严格...

5
28
发表于AI & 大数据专区
2019/08/23 21:36

腾讯首个 AI 开源项目 Angel 发布 3.0 版本:迈向全栈机器学习平台

2019年8月22日,腾讯首个 AI 开源项目 Angel 正式发布 3.0 版本。Angel 3.0 尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段:特征工程、模型训练、超参数调节和模型服务。 概述 Angel(https://github.com/Angel-ML) 是腾讯开源的基于参数服务器架构的分布式机器学习平台,致力于解决稀疏数据大模型训练以及大规模图数据分析问题,它由腾讯与北京大学联合研发,兼顾了工业界的高可用性和学术界的创新性。目前...

9
55
2019/02/02 06:58

腾讯高性能分布式机器学习平台 Angel 2.0.2 发布

Angel 2.0.2 版本已发布。该版本对 Spark On Angel FTRL 算法做了进一步的优化,添加了对 float 模型格式的支持,同时优化了模型划分分区数设置,一个合理的模型分区数对提升计算性能是非常有益的;在系统层,添加了 PR RPC 最大重试次数限制, 避免任务在某些不可恢复异常下一直卡住。这个版本也加入了一些数学库的优化。 [ISSUE-655] 优化 Spark On Angel FTRL 模型分区数配置,避免在高维度模型场景下模型分区数太多导致的 ...

0
8
发表于AI & 大数据专区
2018/12/04 08:02

腾讯高性能分布式机器学习平台 Angel 2.0.0 发布

Angel 2.0.0 版本已发布,在 2.0.0-alpha 版本上修复了大量 bug 并对稳定性做了较多的优化;同时对部分算法进行了重构。 Angel Core [ISSUE-418] 对 PS 端 Matrix 存储方式进行了优化,当模型格式配置为稀疏时,可根据稀疏度选择稠密和稀疏存储方式 [ISSUE-534] ColumnRangePartitioner 支持负的 index 下标 [ISSUE-490] MatrixClient 添加 initAndGet 接口,优化稀疏格式模型的初始化过程 [ISSUE-515] 修复多 task 调用 Matrix...

0
13
发表于AI & 大数据专区
2018/11/09 07:52

腾讯分布式机器学习平台 Angel 2.0.0 正式发布

Angel 2.0.0 正式版已发布,修复了 2.0.0-alpha 版本的大量 Bug ,同时对大模型存储和计算做了一些优化,可以支撑千亿维度以上的模型。为了更好的与下游系统对接,新版本支持自定义的模型保存格式。2.0.0 版本也对 word2vec 算法做了重构,资源消耗大幅度降低。 Angel Core [ISSUE-418] 优化 long key 向量底层存储,提升千亿级模型训练效率 [ISSUE-433] 支持自定义的模型输出格式 [ISSUE-490] 优化稀疏模型优化方式 MLlib [ISS...

6
17
发表于AI & 大数据专区
2018/08/29 08:18

腾讯 Angel 正式加入 LF 深度学习基金会,代码库已迁移

今年3月我们曾报道过,腾讯计划将开源的 Angel 项目贡献给 LF 深度学习基金会。8月27日,Angel 正式宣布加入 LF 基金会,并表示即将发布可达万亿级维度特性计算的 2.0 版本。 Angel 是一个基于参数服务器(ParameterServer)理念的高性能分布式机器学习平台,在腾讯内部广泛应用于腾讯视频推荐、微信内容推荐、广点通点击率预估等业务场景,于2017年6月正式开源。Angel 发布之初的口号是可以轻松处理 TB 级别的数据和十亿维度的...

1
7
2018/03/28 08:16

Linux 基金会推出 LF 深度学习基金会,腾讯华为等加入

微软 Azure 首席技术官 Mark Russinovich 表示,最近人工智能(AI)和机器学习(ML)的兴起与开源 AI和 ML 软件分不开。诸如 Core ML,Google TensorFlow 和 ONNX 等开源项目都推动了 AI 和 ML 的发展。近日,Linux 基金会就在洛杉矶开放网络峰会(Open Networking Summit)上宣布了一个新组织:LF 深度学习基金会,旨在进一步推动开源 AI 和 ML。 Acumos AI 项目 作为 LF 深度学习的一部分,Linux 基金会还宣布了 Acumos AI 项...

3
7
发表了资讯
2017/09/14 15:03

腾讯分布式机器学习平台 Angel 1.2.0 发布

Angel 1.2.0,加入了较多的优化和改进,新增了2个算法,修复了多个Bug,建议所有的用户都升级到这个版本,为1.3.0版本的进一步升级做好准备。 Angel Core Long类型Key的稀疏Double Vector/Matrix支持 稀疏向量性能优化:添加可支持并行运算的稀疏型Vector/Matrix PS RPC性能优化:优化网络模型,分离IO操作和RPC请求处理 完善MatrixOpLog类型:增加Sparse Double/Dense Int/Sparse Float几种类型 Angel MLLib 新增MLR算法 FM提升...

7
28
发表了资讯
2017/07/31 01:37

腾讯分布式机器学习平台 Angel 1.1.0 发布

Angel 1.1.0版本,是一个小步优化版本,修复了首发版本诸多的Bug,并加入了如下细节功能和小改进: Angel Core psFunc的update引入并发控制 模型优化:加入明文格式转换支持 Netty升级到4.x版本 Angel MLlib 改进PSModel的接口 Logistic Regression算法加入了y截距 ADMM LR增加Predict功能 实现了朴素的FM算法 全局算法指标的计算和日志输出优化 Spark On Angel 多Task的Pull / Push操作性能提升 完善文档 模型分区 同步协议 资...

2
23
发表了资讯
2017/06/17 12:44

腾讯 Angel 1.0 正式版发布,机器学习高性能计算平台

在去年 12 月 18 日的腾讯大数据技术峰会暨 KDD China 技术峰会上,腾讯大数据宣布推出了面向机器学习的「第三代高性能计算平台」——Angel,并表示将于 2017 年开放其源代码。现在,2017 年已经大约过去了一半, Angel 1.0 正式版发布了。 Angel 1.0.0 新特性: 1.ParameterServer 功能 基于 Matrix/Vector 的模型自动切分和管理,兼顾稀疏和稠密两种格式 支持对 Model 进行 Push 和 Pull 操作,可以自定义复杂的 psFunc 提供多...

13
52
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/03/19 20:02

Inside Angel Funding: The FinTech Angel You Should Know

https://amazonaws-china.com/blogs/startups/inside-angel-funding-the-fintech-angel-you-should-know/ “I hate to say your gut matters,” Adelsbach says. “Especially in this world where everything needs to be an algorithm to give you credibility, but this is not that world. Angel investing is still very much an art over a science. Therefore, trading your gut is super important.” What is also imp...

0
0
发表了博客
2020/03/19 20:23

Inside Angel Funding: The FinTech Angel You Should Know

https://amazonaws-china.com/blogs/startups/inside-angel-funding-the-fintech-angel-you-should-know/ “I hate to say your gut matters,” Adelsbach says. “Especially in this world where everything needs to be an algorithm to give you credibility, but this is not that world. Angel investing is still very much an art over a science. Therefore, trading your gut is super important.” What is also imp...

0
0
发表了博客
2019/03/08 15:42

Angel 实现FFM 一、对于Angel 和分布式机器学习的简单了解

Angel是腾讯开源的一个分布式机器学习框架。是一个PS模式的分布式机器学习框架。 https://github.com/Angel-ML/angel 这是github地址。 我了解的分布式机器学习概述: 对于分布式机器学习,有些简单的了解,听过一些概念。最近正在看《分布式机器学习 算法、理论与实践》这本书,我觉得这本书很不错。一下内容也是我的一个读书总结。 分布式机器学习分为 数据和模型划分模块,单机优化模块,通信模块,数据和模型的聚合模块。 ...

0
0
发表了博客
2020/03/19 20:03

Inside Angel Investing: Should You Join an Accelerator?

https://amazonaws-china.com/blogs/startups/inside-angel-investing-should-you-join-an-accelerator/ Accelerators are a great way to jumpstart a startup, offering technical and business help, a built-in network, and the unrelenting pressure of time to get your MVP ready for demo day. Eamonn Carey from TechStars London walks us through the reasons you might want to apply to an accelerator, and why ...

0
0
发表于软件架构专区
2013/10/15 14:29

Angel Redis监控工具

公司的项目中用到目前比较流行的缓存Redis,每天查看这些redis的运行信息,与是工作之余 和好友 @Fe-Fe 突发奇想准备写一个简单的redis监控工具来减轻日常的工作,工作之余开发,一个多月的时间,看上去有点回事了,现在还有一些小的bug待修复。采用内嵌jetty布署非常简单。有兴趣的同学可以留下邮箱,发给你们源码 以下是功能截图 主页面,显示内存占用,key的数量,和各种详细信息 key管理页面,管理redis存储的数据,可以对j...

129
19
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于开源治理专区
2020/11/27 08:59

腾讯云大数据团队:认真做开源的人,眼里有光

前段时间,Oracle 正式发布了 JDK 15,同时作为惯例公布了 OpenJDK 全球贡献者榜单,表达了对这些企业与个人开发者的感谢。其中,Oracle 依旧是 JDK 开发的主力军,完成了 79.68% 的工作量。 但令很多人意想不到是,腾讯成为了全球企业贡献第五名,是国内为 OpenJDK 贡献最多的公司,并且是历史首个进入“Notable”贡献者范围的国内厂商,得到了 Oracle 的点名感谢。 谈到国内大厂的开源,社区中仍然存在不少的偏见。大厂的开源...

28
9
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
16 评论
375 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部