Dagster 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Dagster 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Dagster 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Dagster 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Dagster 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 Python TypeScript
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 不详
投 递 者 白开水不加糖
适用人群 未知
收录时间 2021-10-12

软件简介

Dagster 是一个用于机器学习、分析和 ETL 的数据编排器

Dagster 让你以可重复使用的逻辑组件之间的数据流来定义管道,然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的统一视图,Dagster 可以调度和编排 Pandas、Spark、SQL 或任何其他 Python 可以调用的东西。

Dagster 是为数据平台工程师、数据工程师和全堆栈数据科学家设计的。用 Dagster 构建数据平台,使你的利益相关者更加独立、系统更加强大。用 Dagster 开发数据管道可使测试更容易,部署更快。

特性:

  • 笔记本电脑上开发和测试,随处部署

  • 对每个步骤产生和消耗的数据进行建模和输入

  • 将数据链接到计算

  • 搭建自助数据平台

  • 避免依赖噩梦

  • 从丰富的 UI 调试管道

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2020/06/13 23:40

Web3极客日报 #177

微信不支持外部链接,可以点击文章底部的阅读原文,方便阅读文中的链接,也可通过 http://daily.rebase.network/ 浏览每期日报内容。 1. 一款简洁的数据流引擎,让数据自由流转 @River https://mp.weixin.qq.com/s/JuPZmj9CafyCzdkx_GedTw Dagster是一个简洁优雅的数据流引擎工具,它的目标是帮助大家构建与时俱进的数据类应用,通过该工具能够让数据科学家、数据工程师以及其他人员在同一个数据管道上进行合作协同。 2. DevDo...

0
0
01/28 08:20

干货分享!5款超级实用的Python工具库!

Python 中好玩、实用的工具非常多,这给我们的工作学习带来极大的方便和乐趣。在之前文章中我已多次分享过一些实用的工具,今天我再分享 5 款非常实用的工具: 1、Black Black 是一款非常棒的Python代码美化/格式化库。使用它,你完全可以放弃手工格式化的操作。Black 可让你的代码快速美化,同时当代码较长时,可以增加代码的可读性、节省时间和精力。 安装方法 pip install black #从GitHub安装,请使用 pip install git+g...

0
0
发表了博客
01/06 14:52

为Python正名:语言本身不是瓶颈,可能是外部资源出了问题 - 知乎

Python 作为一种简单、易于掌握的编程语言,虽然在使用过程中存在短板,但也受到很多人的青睐。 选自towardsdatascience,作者:Anna Anisienia,机器之心编译,编辑:陈萍、李亚洲。 Python 真的很慢吗?这需要具体问题具体分析。和 C 等编译型语言相比,Python 在处理数字方面速度确实很慢。这也从侧面说明了 Python 中加速数字处理的库(如 numpy)为什么如此重要了。 但是,Python 是不是在所有用例上都比其他编程语言慢呢?...

0
0
发表了博客
01/20 08:29

Python 太慢了吗?

作者 | Anna Anisienia 译者 | 刘雅梦 策划 | 褚杏娟 虽然 Python 比许多编译语言都慢,但它易于使用,而且功能多样。对于许多人来说,语言的实用性要胜过速度。 我是一名 Python 工程师,因此你可能会认为我带有偏见。但是我想澄清一些对 Python 的批评,并反思一下在使用 Python 进行数据工程、数据科学及分析等日常工作中,对速度的担忧是否有必要。 Python 太慢了吗? 我认为,这类问题应该基于特定的上下文或用例来说。与 ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
2 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部