多任务并行编程与任务调度 Dask

BSD
Python 查看源码»
跨平台
2017-01-04
王练

Dask 是一个用于分析计算的灵活的并行计算库。

Dask 由两个组件组成:

  • 动态任务调度优化计算。 这类似于 Airflow、Luigi、Celery 或 Make,但是针对交互式计算工作负载进行了优化。

  • “大数据”集合,如并行数组,数据框架和列表,将常见接口(如 NumPy、Pandas 或 Python 迭代器)扩展到 larger-than-memory 或分布式环境。 这些并行集合在动态任务调度程序之上运行。


的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

Dask 0.13.0 发布,多任务并行编程与任务调度

Dask 0.13.0 发布了,Dask 是一个用于分析计算的灵活的并行计算库。由动态任务调度优化计算和“大数据”集合两个组件组成。 部分更新内容: dask.array上的强制类型 支持没有已知形状的数组 ...

2017/01/05 07:33

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

使用Airflow来调度Data Lake Analytics的任务

今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案, 客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。因...

03/22 17:32
12
0
2018年最受欢迎的五大机器学习数据和五大数据学习工具

2018年将会是人工智能和机器学习快速发展的一年,有专家表示:相较之下Python比Java更加接地气,也自然而然地成为机器学习的首选语言 在数据科学方面,Python的语法与数学语法最为接近,因此...

2018/05/09 17:07
15
0
10大最受欢迎的机器学习和数据科学Python库

2018年将会是人工智能和机器学习快速发展的一年,有专家表示:相较之下Python比Java更加接地气,也自然而然地成为机器学习的首选语言 在数据科学方面,Python的语法与数学语法最为接近,因此...

2018/05/07 13:34
7
0
前端页面实例1,多datagrid,panel,添加检查计划,下发到PAD端

$("#plan_datagrid).datagrid($.extend(grdix,gridy))

2015/11/19 12:09
14
0
Coding and Paper Letter(五十六)

资源整理。老规矩分两篇。 Coding: 1.一种Python工具,它在由Neo4j数据库驱动的中整合基础架构及其之间的关系。 cartography 2.使用pyntcloud的实际例子。 pyntcloud notebooks 3.R语言包qui...

03/31 00:00
5
0
Coding and Paper Letter(四十一)

资源整理。这次太久没更新,最近比较忙。老规矩拆成两篇。 Coding: 1.比较独立,部分汇集和系统发育知识的生态位模型。“Niche estimation above and below the species level. Trends in E...

2018/10/31 22:31
21
0
IOS拦截重定向请求(302)的几种方式

前言 在多数情况下,我们做的网络请求是返回200状态码的,但也有返回302的时候,比如使用基于Oauth2认证协议的API时,在认证阶段,需要提供一个回调地址,当用户授权后,服务器会返回一个302...

2015/07/12 20:06
9.2K
1
如何创建一个数据科学项目?

摘要: 在一个新的数据科学项目,你应该如何组织你的项目流程?数据和代码要放在那里?应该使用什么工具?在对数据处理之前,需要考虑哪些方面?读完本文,会让你拥有一个更加科学的工作流程...

2018/12/14 10:10
5
0
转载【java中的正则表达式】作为学习

转载【java中的正则表达式】 先上来一点基础介绍: java中正则表达式常用的构造元素: 字符 x 字符 x。举例:'a'表示字符a \\ 反斜线字符。 \n 新行(换行)符 ('\u000A') \r 回车符 ('\u000D...

02/22 09:10
0
0
阿里靠什么支撑 EB 级计算力?

阿里妹导读:MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作,这些工作背后的原因是什么?大数...

04/18 11:30
1
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部