开源 AI 模型开发平台「天枢平台」已在 Gitee 开源

来源: OSCHINA
编辑: Gitee
2021-03-23

之江实验室是浙江省委、省政府深入实施创新驱动发展战略、探索新型举国体制浙江路径的重大科技创新平台。之江实验室自2018年10月启动人工智能开源平台研发,到2019年1月获国家发改委项目支持,再到2020年8月开源上线,“之江天枢”团队近百名研发人员,历时650余天科研攻关,成功完成平台第一个版本的研制,并上线具有独特性能优势的计算框架、开发平台和工具组件。经历了半年多的迭代,现在已经进化至 v0.3.0 版本,并在 Gitee 上开源。

项目名称:Dubhe

项目作者:之江天枢

开源许可协议:Apache-2.0

项目地址:https://gitee.com/zhijiangtianshu/Dubhe

项目简介

天枢人工智能开源开放平台(简称:天枢平台是由之江实验室牵头,联合北京一流科技、中国信通院和浙江大学共同自研的人工智能开源平台。整个平台由一站式AI模型开发平台、高性能深度学习框架(OneFlow)和模型炼知框架三大子系统组成。

其中, 一站式AI模型开发平台(简称:一站式开发平台)面向AI模型生产的生命周期,提供了包括数据处理、模型开发、模型训练和模型管理等功能,方便用户一站式构建AI算法。

项目架构

项目预览

项目特点

开发友好

天枢第一个版本支持从数据管理、模型开发、训练管理到模型管理的全链路功能,数据管理还能实现数据的智能标注与数据增强。

训练高效

之江天枢平台的分布式训练框架支持数据并行、模型并行、流水并行三种并行模式,能根据不同模型自动编排相适应的并行模式,同时具备出色的线性加速比,数据并行性能有了较大幅度的提升。

此外,天枢还自研了高效通信协议,原生支持RDMA;同时还支持多种深度学习编译器,多芯片轻松实现软件定义数据流,对AI芯片友好兼容。

可视化分析

在模型训练过程当中,开发者能够直观、实时地洞察模型结构、参数趋势、降维分析等重要信息。通过可视化分析,辅助参数调整,从而改变训练路径。

模型炼知

当前主流深度学习算法构建过程通常需要经过数据处理、模型开发和大规模训练计算等步骤来生产模型,而本次天枢推出了全新的模型生产方式“模型炼知”,通过领先的模型重组炼知技术,实现灵活按需定制模型。

天枢的深度模型炼知框架具备度量功能,能够自动度量多个视觉模型是否能够进行重组,并通过逐层重组、共同特征提取、多任务自适应分支解码等,将不同模型结构进行重组,直接生产出一个全新的模型,应用在新的场景。

在天枢模型炼知框架上,只要输入两个预训练模型,框架能重组出一个新的多任务模型,该模型可以同时处理两个任务,不仅提升了计算效率,降低了能耗,还增强了模型的能力边界。

发展规划

截至目前,天枢平台已经汇聚了阿里云、蚂蚁金服、新华三(H3C)、海康威视等数十家家生态伙伴。

在后续版本中,天枢将进一步丰富算法库,搭建面向视觉的AutoML平台,实现拖拽式模型开发。还将进一步优化分布式训练性能,不断提高训练规模与并行效率,最终形成去中心化式分布式训练。同时,高效的端侧推理平台在研发计划中,将完善部署环节,实现端侧推理功能。

值得一提的是,为支持企业发展,有力扩展企业生态,天枢平台支持中小微企业免费使用,进一步推动人工智能技术向各行各业渗透应用

现在 Dubhe 已正式在 Gitee 开源,如果你是深度学习的开发者和爱好者,那么这个一站式深度学习开发平台一定是你不可错过的一站,现在就去项目主页给它一个 Star 吧:https://gitee.com/zhijiangtianshu/Dubhe

展开阅读全文
19 收藏
分享
加载中
最新评论 (4)
很强大
2021-03-24 18:31
0
回复
举报
这图,这界面用心了,手动点赞。
2021-03-24 15:50
0
回复
举报
66666666666666
2021-03-24 14:25
0
回复
举报
有人使用吗?
2021-03-24 07:47
0
回复
举报
更多评论
4 评论
19 收藏
分享
返回顶部
顶部