软件简介

Prophecis 是微众银行自研的一站式机器学习平台,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,提供生产环境全栈化容器部署与管理服务。

Architecture

  • 整体架构

    图1 Prophecis整体架构

    Prophecis主要包含5个关键服务:

    • Prophecis Machine Learning Flow:机器学习分布式建模工具,具备单机和分布式模式模型训练能力,支持Tensorflow、Pytorch、xgboost等多种机器学习框架,支持从机器学习建模到部署的完整Pipeline;

    • Prophecis MLLabis:机器学习开发探索工具,提供开发探索服务,是一款基于Jupyter Lab的在线IDE,同时支持GPU及Hadoop集群的机器学习建模任务,支持Python、R、Julia多种语言,集成Debug、TensorBoard多种插件;

    • Prophecis Model Factory:机器学习模型工厂,提供机器学习模型存储、模型部署测试、模型管理等服务;

    • Prophecis Data Factory:机器学习数据工厂,提供特征工程工具、数据标注工具和物料管理等服务;

    • Prophecis Application Factory:机器学习应用工厂,由微众银行大数据平台团队和AI部门联合共建,基于青云(QingCloud)开源的Kubesphere定制开发,提供CI/CD和DevOps工具,GPU集群的监控及告警能力。

  • 功能特色

     

    图2 Prophecis功能特色

     

  • 全生命周期的机器学习体验:Prophecis的 MLFlow 通过 AppJoint 可以接入到 DataSphere Stdudio 的工作流中,支持从数据上传、数据预处理、特征工程、模型训练、模型评估到模型发布的机器学习全流程;

    图3 Prophecis对接DSS功能展示

     

  • 一键式的模型部署服务:Prophecis MF 支持将Prophecis Machine Learning Flow、Prophecis MLLabis 生成的训练模型一键式发布为 Restful API 或者 RPC 接口,实现模型到业务的无缝衔接;

  • 机器学习应用部署、运维、实验的综合管理平台:基于社区开源方案定制,提供完整的、可靠的、高度灵活的企业级机器学习应用发布、监控、服务治理、日志收集和查询等管理工具,全方位实现对机器学习应用的管控,满足企业对于机器学习应用在线上生产环境的所有工作要求。

Quick Start Guide

Developing

Roadmap

  • 关于Prophecis后续的Roadmap,可查看 Roadmap 文档,欢迎大家持续关注!

Contributing

非常欢迎广大的社区伙伴给我们贡献新代码!

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (3)

加载中
不易于安装
01/02 16:54
回复
举报
打分: 力荐
请提供shell传统方式部署。目前看是k8s的,我们传统运维完成不了
2020/12/17 01:23
回复
举报
该评论暂时无法显示,详情咨询 QQ 群:912889742
更多评论
发表了资讯
08/03 09:45

Prophecis 0.2.1 版本发布--一站式机器学习平台

Prophecis 是微众银行自研的一站式机器学习平台,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,提供生产环境全栈化容器部署与管理服务。 版本更新内容 1、文档更新 增加了用户文档: CC用户文档:命名空间、用户信息和项目组信息的基本操作指引。 DI用户文档:分布式建模和CLI使用的基本操作指引。 MLLabis用户文档:Notebook管理和Notebook中PySpark的基本操作指引。 修改了部署文档和开发文档: 开发文档...

0
7
03/17 17:14

Prophecis 0.2.0 版本发布

Prophecis 0.2.0新版本特性 01 特性增强 新增分布式建模模块(Prophecis DI),支持拉起批量建模任务,提供单机Tensorflow、XGBoost、PyTorch等建模任务能力; 对接Kubeflow Arena,支持分布式Tensorflow建模; 提供CLI工具,支持通过CLI工具调用分布式建模模块,可获取任务状态和执行日志; 建模任务支持复制、模版导出,可快速与CLI工具结合使用。 02 Bug修复 修复Helm Chart配置中的错误配置。 03 新增模块介绍 Prophecis DI 基...

0
3
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/11/13 17:53

Prophecis 开始你的机器学习之旅

一个设计完善的机器学习平台是什么样子? 一个设计完善的机器学习平台可以在 AI 应用全生命周期的开发和管理过程起到作用。具体而言,设计完善的机器学习平台具备六大能力:一是统一的存储空间,支持多数据源导入。二是 Pipeline 可视化工作流管理与执行,支持数据科学家从数据建模阶段开始的可视化管理,节省成本,快速体现数据科学家的价值;三是基于容器的计算资源分配和软件库安装,支持 TensorFlow、PyTorch 等各种框架;四...

0
1
01/11 20:18

​基于 WDS Prophecis 与 KubeSphere 构建云原生机器学习平台

KubeSphere 开源社区的小伙伴们,大家下午好。我是微众银行大数据平台的工程师周可,接下来我会给大家分享基于 WeDataSphere 和 KubeSphere 这两个开源产品构建一个开源的云原生机器学习平台 Prophecis。 Prophecis 是什么? 首先我介绍一下什么是 Prophecis (Prophecy In WeDataSphere)?它的中文含义就是预言的意思。 Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台,我们是基于 KubeSphere 管理的这一套多租户...

0
0
发表于人工智能专区
02/07 17:59

基于 WeDataSphere Prophecis 与 KubeSphere 构建云原生机器学习平台

KubeSphere 开源社区的小伙伴们,大家好。我是微众银行大数据平台的工程师周可,接下来给大家分享的是基于 WeDataSphere 和 KubeSphere 这两个开源社区的产品去构建一个云原生机器学习平台 Prophecis。 ## Prophecis 是什么? 首先我介绍一下什么是 Prophecis (Prophecy In WeDataSphere)?它的中文含义就是预言的意思。 ![](https://oscimg.oschina.net/oscnet/up-5c4a1e7de7c7405a8de854da5e47c3f68ed.png) Prophecis 是微众银...

0
0
发表于云计算专区
2020/12/08 19:58

开源官宣:Prophecis 一站式云原生机器学习平台

开 开 源 Prophecis 一站式云原生机器学习平台 Prophecis 是微众银行自研大数据平台套件 WeDataSphere 的核心应用工具之一,为用户提供了全栈的机器学习应用开发与部署解决方案。作为WeDataSphere 功能工具应用系统,Prophecis 不仅和已经开源的产品DataSphere Studio、Linkis无缝对接,同时也可以独立运行。 Prophecis Github地址: https://github.com/WeBankFinTech/Prophecis *详情可点击文末阅读原文 01 Prophecis是什么 ...

0
0
2020/12/09 16:55

开源官宣:Prophecis 一站式云原生机器学习平台

开 开 源 Prophecis 一站式云原生机器学习平台 Prophecis 是微众银行自研大数据平台套件 WeDataSphere 的核心应用工具之一,为用户提供了全栈的机器学习应用开发与部署解决方案。作为WeDataSphere 功能工具应用系统,Prophecis 不仅和已经开源的产品DataSphere Studio、Linkis无缝对接,同时也可以独立运行。 Prophecis Github地址: https://github.com/WeBankFinTech/Prophecis *详情可点击文末阅读原文 01 Prophecis是什么 ...

0
2
01/12 11:32

​基于 WDS Prophecis 与 KubeSphere 构建云原生机器学习平台

KubeSphere 开源社区的小伙伴们,大家下午好。我是微众银行大数据平台的工程师周可,接下来我会给大家分享基于 WeDataSphere 和 KubeSphere 这两个开源产品构建一个开源的云原生机器学习平台 Prophecis。 Prophecis 是什么? 首先我介绍一下什么是 Prophecis (Prophecy In WeDataSphere)?它的中文含义就是预言的意思。 Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台,我们是基于 KubeSphere 管理的这一套多租户...

0
1
发表于云计算专区
2020/12/09 18:17

开源官宣:Prophecis 一站式云原生机器学习平台

开 开 源 Prophecis 一站式云原生机器学习平台 Prophecis 是微众银行自研大数据平台套件 WeDataSphere 的核心应用工具之一,为用户提供了全栈的机器学习应用开发与部署解决方案。作为WeDataSphere 功能工具应用系统,Prophecis 不仅和已经开源的产品DataSphere Studio、Linkis无缝对接,同时也可以独立运行。 Prophecis Github地址: https://github.com/WeBankFinTech/Prophecis *详情可点击文末阅读原文 01 Prophecis是什么 ...

0
0
2020/12/16 13:07

云原生Meetup:基于 WeDataSphere Prophecis 与 KubeSphere 构建云原生机器学习平台

“大规模机器学习平台的技术基础已经逐渐完善,与大数据计算相关的框架也越来越多,这些奠定了大规模机器学习平台的技术基础。 Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台,提供多种模型训练调试方式,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,基于 KubeSphere 提供生产环境全栈化容器部署与管理服务。” Prophecis现已开源,扫码可以访问项目Github地址: 本文分享自微信公众号 - ...

0
1
发表了博客
01/23 16:49

KubeSphere and Friends 2020 落幕 与开源社区伙伴零距离、全方位解读云原生

12 月 19 日,由青云QingCloud 旗下容器平台 KubeSphere 主办的“KubeSphere and Friends”云原生 Meetup 圆满落幕。中通物流、微众银行、AWS、CNCF 等架构负责人及 700 余位开源社区伙伴应邀参会,同 KubeSphere 核心研发人员齐聚一堂,围绕“KubeSphere 在企业实战应用、Serverless、DevOps、云原生机器学习”等议题展开交流,分享 KubeSphere 的技术路线与使用心得,探讨容器与云原生的应用与未来。 **开箱即用 重新定义 K8...

0
0
发表于云计算专区
2020/07/09 10:22

携手共进,开源可期:WeDataSphere开源社区与KubeSphere开源社区官宣合作

携手共进,开源可期 WeDataSphere开源社区与KubeSphere开源社区官宣合作 01 官宣 7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。 据了解,微众银行 (WeBank) 大数据平台套件WeDataSphere产品团队及WeBank 人工智能部运维团队,与KubeSphere产品团队共同进行了多次线上沟通,深入交流了WeDataSphere的总体架构、技术理念以及对外合作模式。双方讨论了KubeSphere在WeBank 人工智能部主导开发...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
3 评论
67 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部