Modin 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Modin 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Modin 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Modin 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Modin 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Modin使用Ray提供了一种轻松的方式来加速您的Pandas笔记本,脚本和库。 与其他分布式DataFrame库不同,Modin提供与现有pandas代码的无缝集成和兼容性。 即使使用DataFrame构造函数也是如此。

import modin.pandas as pd
import numpy as np

frame_data = np.random.randint(0, 100, size=(2**10, 2**8))
df = pd.DataFrame(frame_data)

要使用Modin,您不需要知道系统有多少核心,也不需要指定如何分配数据。 实际上,即使在一台机器上,您也可以继续使用以前的pandas笔记本电脑,同时体验Modin的相当大的加速。 一旦你更改了import语句,你就可以像使用pandas一样使用Modin了。

modin.pandas DataFrame是一个非常轻量级的并行DataFrame。 Modin透明地分发数据和计算,因此您需要做的就是继续使用pandas API,就像安装Modin之前一样。 与其他并行DataFrame系统不同,Modin是一个非常轻量级,强大的DataFrame。 由于它的重量很轻,因此Modin可在具有4个物理内核的笔记本电脑上提供高达4倍的加速。

在pandas中,当你进行任何类型的计算时,你只能使用一个核心。 使用Modin,您可以使用计算机上的所有CPU核心。 即使在read_csv中,我们也可以通过在整个计算机上有效地分配工作来获得巨大收益。

import modin.pandas as pd

df = pd.read_csv("my_dataset.csv")
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2019/03/05 19:32

pandas的分布式执行框架之modin

Scale your pandas workflows by changing one line of code To use Modin, replace the pandas import: # import pandas as pd import modin.pandas as pd 安装 Modin can be installed from PyPI: pip install modin 注:由于modin依赖于ray,而ray目前只支持linux和mac系统, 不支持windows,所以windows还无法享受到pandas加速的好处 全文文档 Visit the complete documentation on readthedocs: http://modin.readthedocs....

0
0
发表了博客
2020/05/25 09:43

【谎言大揭秘】Modin真的比pandas运行更快吗?

最近看了某公众号文章,推荐了所谓的神器,据说读取速度吊打pandas,可谓牛逼。 抱着学习的精神,网上搜了文章,发现了一些端倪,事实真是这样吗?来一起揭秘真相。 首先安装包 # pip install ray # pip install dask # pip install modin 安装版本 Successfully installed aiohttp-3.6.2 async-timeout-3.0.1 google-2.0.3 multidict-4.7.6 py-spy-0.3.3 ray-0.8.5 redis-3.4.1 yarl-1.4.2 Requirement already satisfied: das...

0
0
发表了博客
2019/07/05 20:40

Python Dataframe 分组排序和 Modin

Python Dataframe 分组排序和 Modin 1、按照其中一列进行排序 在dataframe中,按照其中的一列排序:比如q值倒排 (1)rank方法 data['new_rank'] = data.groupby('house_code')['q_score_new'].rank(ascending=False, method='dense') (2)sort_values方法 data.sort_values(['q_score_new'], ascending=False).groupby(['house_code']).cumcount() + 1 2、按照其中多列进行排序 在dataframe中,按照其中的多列排序:比如q值倒排、...

0
0
发表于服务端专区
2020/01/14 09:00

Modin:一行代码让pandas加速数十倍

寒假何不学python | Python数据分析实战(学术) pandas库是python中最有名的数据分析库,因为dataframe这种易用强大的数据类型,pandas成为数据科学必备套件。pandas可以和很多包联合使用,比如与机器学习sklearn、统计分析statsmodels、可视化searborn&matplotlib等等。下图是近几年python包的使用量趋势,pandas一骑绝尘 但pandas有一个弱点:不适用于大规模数据。 pandas默认只调用电脑单个的CPU进行数据读取和运算,但是当前...

0
0
发表了博客
01/07 13:44

在Window10系统中安装Pandas并行加速库Modin的流程及效果测试

目录 安装动机 Modin库简介 安装流程 1. 在Windows设置中调整设置 2. 在Windows应用商店中下载Ubuntu 3. 配置Ubuntu 4. 安装Modin库 先说说我的安装方法 接下来说说官方的方案: Modin库性能测试 read_csv 测试 fill_na 测试 总结 鸣谢 安装动机 最近在用Pandas处理一些大数据集时明显感受到了Pandas的缺陷:只能使用CPU的一个核心来计算,对于我新买的8核16线程的机子来说,有大量资源都被浪费了。 本着加速Pandas运行的动机,...

0
0
2020/09/26 08:09

Pandas如何让10TB 数据运行更快?

作者:Parul Pandey Pandas 是数据科学领域流行的程序库,能够提供高性能、易于使用的数据结构和数据分析工具。但是处理规模大小不同的数据使,用户还得求助于不同的工具,实在有点麻烦。而 Modin 能够将 pandas 的运行速度提高好几倍,而无需切换 API 来适应不同的数据规模。 「通过更改一行代码扩展你的 pandas 工作流。」 Pandas是数据科学领域的工作者都熟知的程序库。它提供高性能、易于使用的数据结构和数据分析工具。但是...

0
0
2019/11/28 17:10

如何只用一行代码让Pandas加速四倍?

作者 | George Seif 译者 | 夏夜 策划 | 蔡芳芳 Pandas(https://pandas.pydata.org/)是 Python 中处理数据的首选库,它使用起来很容易,非常灵活,能够处理不同类型和大小的数据,而且它有大量的函数(https://dev.pandas.io/docs/user_guide/index.html),这让操作数据简直是小菜一碟。 历年来 Python 开发包的受欢迎程度。来源:https://stackoverflow.blog/2017/09/14/python-growing-quickly/ Pandas 默认是在单个 CPU ...

0
0
2019/12/04 07:30

一行代码将Pandas加速4倍

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者:George Seif 编译:ronghuaiyang 导读 虽然Pandas的功能非常强大,但是对于大数据集来说,确实是很慢的。 虽然 panda 是 Python 中用于数据处理的库,但它并不是真正为了速度而构建的。了解一下新的库 Modin,Modin 是为了分布式 panda 的计算来加速你的数据准备而开发的。 Pandas是处理 Python 数据的首选库。它易于使用,并且在处理不同类型和大小的数据时非...

0
0
2020/05/24 10:00

一行代码让pandas加速数十倍

点击上方『早起Python』关注并星标 第一时间接收最新Python干货! pandas库是python中最有名的数据分析库,因为dataframe这种易用强大的数据类型,pandas成为数据科学必备套件。pandas可以和很多包联合使用,比如与机器学习sklearn、统计分析statsmodels、可视化searborn&matplotlib等等。下图是近几年python包的使用量趋势,pandas一骑绝尘 但pandas有一个弱点:不适用于大规模数据。 pandas默认只调用电脑单个的CPU进行数据读...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
7 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部