基于张量/矩阵的超大规模计算框架 Mars-Project

Apache 2.0
Python
跨平台
阿里巴巴
2018-12-29
王练

Mars 是一个基于张量/矩阵的超大规模计算框架。

通过简单的 import 替换,就可以将 numpy 的代码替换成 Mars tensor。Mars 能在单机利用多核并行,同时,能在千台规模集群进行分布式处理超大规模张量/矩阵。

据测试,在真实场景计算 2.25T 大小的矩阵和 2.25T 大小矩阵乘法,Mars 能在2个小时的时间计算完成。开发团队还扩展了 numpy,让 Mars 具备在 GPU 上计算和创建稀疏矩阵的能力。后续还将开发完全兼容 pandas 的 Mars DataFrame 部分,希望能将整个 scipy 技术栈带到分布式环境。

单机使用 Mars:

pip install pymars

分布式版本:

pip install 'pymars[distributed]'

Mars 张量提供了类似于 NumPy 的接口

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Mars——基于矩阵的统一分布式计算框架

很高兴在这里宣布我们的新项目:Mars,一个基于矩阵的统一分布式计算框架。我们已经在 Github 开源:https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言了,...

01/09 12:01
10
0
阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

日前,阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址,开发者们可以在pypi上自主下载安装,或在Github上获取源代码并参与开发。 此前,早在2018年9月的杭州云栖大会上,阿里...

01/21 15:42
5
0
阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

日前,阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址,开发者们可以在pypi上自主下载安装,或在Github上获取源代码并参与开发。 此前,早在2018年9月的杭州云栖大会上,阿里...

01/21 15:46
10
0
阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

日前,阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址,开发者们可以在pypi上自主下载安装,或在Github上获取源代码并参与开发。 此前,早在2018年9月的杭州云栖大会上,阿里...

01/21 16:47
5
0
Mars 是什么、能做什么、如何做的——记 Mars 在 PyCon China 2018 上的分享

最近,在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars,基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听到 Mars,很...

01/10 12:05
13
0
Eclipse创建Maven Web项目

Eclipse 创建 Maven Web项目

2016/05/25 11:01
36
1
Mars Android视频教程完整版高清在线观看

Mars Android视频教程完整版高清在线观看。

2014/02/14 13:58
620
1
Eclipse 下新建MAVEN项目

运行环境Eclipse luna(4.4) 第一步在在Preferences中设置新的MAVEN Runtime,装载本地的MAVEN. note:为什么需要装载本地的Maven,不要集成的MAVEN。 1、Eclipse4.4版本及以前版本对MAVEN集成支...

2015/11/09 15:29
12
0
Mars Android视频教程完整版高清在线观看

Android是一种基于Linux的自由及开放源代码的操作系统,主要使用于移动设备,如智能手机和平板电脑,由Google公司和开放手机联盟领导及 开发。尚未有统一中文名称,中国大陆地区较多人使用“...

2013/10/26 13:56
147
0
阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

日前,阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址,开发者们可以在pypi上自主下载安装,或在Github上获取源代码并参与开发。 此前,早在2018年9月的杭州云栖大会上,阿里...

01/17 13:25
10
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部