Angel 是一个基于参数服务器（Parameter Server）理念开发的高性能分布式机器学习平台，它基于腾讯内部的海量数据进行了反复的调优，并具有广泛的适用性和稳定性，模型维度越高，优势越明显。 Angel 由腾讯和北京大学联合开发，兼顾了工业界的高可用性和学术界的创新性。
Angel 的核心设计理念围绕模型。它将高维度的大模型合理切分到多个参数服务器节点，并通过高效的模型更新接口和运算函数，以及灵活的同步协议，轻松实现各种高效的机器学习算法。
Angel 基于 Java 和 Scala 开发，能在社区的 Yarn 上直接调度运行，并基于 PS Service ，支持 Spark on Angel ，未来将会支持图计算和深度学习框架集成。
架构设计
系统框架
2020 年 3 月 9 日，腾讯正式对外发布了《腾讯研发大数据报告》。在这份报告中，腾讯披露了2019 年公司在产品及技术研发方面的重要数据，这也是腾讯自技术委员会成立以来第一次主动对外披露研发相关大数据。 报告显示，2019 年，腾讯研发人员占比达到 66%，在中国诸多科技公司中位居前列。同时，腾讯 2019 年新增研发项目超过 3500 个——随着腾讯全面拥抱产业互联网的战略推进，2019 年 To B 项目数量比 2018 年增长了 77%。 ...
20 日，Linux 基金会旗下面向 AI 领域的顶级基金会——LF AI 基金会（Linux Foundation Artificial Intelligence Foundation）宣布，腾讯开源的机器学习项目 Angel 顺利毕业。 据了解，这是中国首个从 LF AI 基金会毕业的开源项目，意味着 Angel 成为世界顶级 AI 开源项目。LF AI 基金会董事、腾讯 AI 专家肖涵介绍，LF AI 基金会对开源项目的毕业流程有非常严格的规定，其会基于项目的技术含量、开源生态与社区互动等维度，严格...
2019年8月22日，腾讯首个 AI 开源项目 Angel 正式发布 3.0 版本。Angel 3.0 尝试打造一个全栈的机器学习平台，功能特性涵盖了机器学习的各个阶段：特征工程、模型训练、超参数调节和模型服务。 概述 Angel(https://github.com/Angel-ML) 是腾讯开源的基于参数服务器架构的分布式机器学习平台，致力于解决稀疏数据大模型训练以及大规模图数据分析问题，它由腾讯与北京大学联合研发，兼顾了工业界的高可用性和学术界的创新性。目前...
Angel 2.0.2 版本已发布。该版本对 Spark On Angel FTRL 算法做了进一步的优化，添加了对 float 模型格式的支持，同时优化了模型划分分区数设置，一个合理的模型分区数对提升计算性能是非常有益的；在系统层，添加了 PR RPC 最大重试次数限制， 避免任务在某些不可恢复异常下一直卡住。这个版本也加入了一些数学库的优化。 [ISSUE-655] 优化 Spark On Angel FTRL 模型分区数配置，避免在高维度模型场景下模型分区数太多导致的 ...
Angel 2.0.0 版本已发布，在 2.0.0-alpha 版本上修复了大量 bug 并对稳定性做了较多的优化；同时对部分算法进行了重构。 Angel Core [ISSUE-418] 对 PS 端 Matrix 存储方式进行了优化，当模型格式配置为稀疏时，可根据稀疏度选择稠密和稀疏存储方式 [ISSUE-534] ColumnRangePartitioner 支持负的 index 下标 [ISSUE-490] MatrixClient 添加 initAndGet 接口，优化稀疏格式模型的初始化过程 [ISSUE-515] 修复多 task 调用 Matrix...
Angel 2.0.0 正式版已发布，修复了 2.0.0-alpha 版本的大量 Bug ，同时对大模型存储和计算做了一些优化，可以支撑千亿维度以上的模型。为了更好的与下游系统对接，新版本支持自定义的模型保存格式。2.0.0 版本也对 word2vec 算法做了重构，资源消耗大幅度降低。 Angel Core [ISSUE-418] 优化 long key 向量底层存储，提升千亿级模型训练效率 [ISSUE-433] 支持自定义的模型输出格式 [ISSUE-490] 优化稀疏模型优化方式 MLlib [ISS...
今年3月我们曾报道过，腾讯计划将开源的 Angel 项目贡献给 LF 深度学习基金会。8月27日，Angel 正式宣布加入 LF 基金会，并表示即将发布可达万亿级维度特性计算的 2.0 版本。 Angel 是一个基于参数服务器（ParameterServer）理念的高性能分布式机器学习平台，在腾讯内部广泛应用于腾讯视频推荐、微信内容推荐、广点通点击率预估等业务场景，于2017年6月正式开源。Angel 发布之初的口号是可以轻松处理 TB 级别的数据和十亿维度的...
微软 Azure 首席技术官 Mark Russinovich 表示，最近人工智能（AI）和机器学习（ML）的兴起与开源 AI和 ML 软件分不开。诸如 Core ML，Google TensorFlow 和 ONNX 等开源项目都推动了 AI 和 ML 的发展。近日，Linux 基金会就在洛杉矶开放网络峰会（Open Networking Summit）上宣布了一个新组织：LF 深度学习基金会，旨在进一步推动开源 AI 和 ML。 Acumos AI 项目 作为 LF 深度学习的一部分，Linux 基金会还宣布了 Acumos AI 项...
Angel 1.2.0，加入了较多的优化和改进，新增了2个算法，修复了多个Bug，建议所有的用户都升级到这个版本，为1.3.0版本的进一步升级做好准备。 Angel Core Long类型Key的稀疏Double Vector/Matrix支持 稀疏向量性能优化：添加可支持并行运算的稀疏型Vector/Matrix PS RPC性能优化：优化网络模型，分离IO操作和RPC请求处理 完善MatrixOpLog类型：增加Sparse Double/Dense Int/Sparse Float几种类型 Angel MLLib 新增MLR算法 FM提升...
Angel 1.1.0版本，是一个小步优化版本，修复了首发版本诸多的Bug，并加入了如下细节功能和小改进： Angel Core psFunc的update引入并发控制 模型优化：加入明文格式转换支持 Netty升级到4.x版本 Angel MLlib 改进PSModel的接口 Logistic Regression算法加入了y截距 ADMM LR增加Predict功能 实现了朴素的FM算法 全局算法指标的计算和日志输出优化 Spark On Angel 多Task的Pull / Push操作性能提升 完善文档 模型分区 同步协议 资...
评论