加载中

Ploomber - 快速构建数据管道

Ploomber 是构建数据管道的最快方式。使用你喜欢的编辑器(Jupyter、VSCode、PyCharm)进行交互式开发,并在不改变代码的情况下部署云(Kubernetes、Airflow、...

收藏 2
Ploomber

Polars - 快速多线程 DataFrame 库

Polars 是一个 Rust 和 Python 中的快速多线程 DataFrame 库/内存查询引擎。它使用 Apache Arrow(2) 作为内存模型在 Rust 中实现。并行执行、高效的...

收藏 2

Nextjournal - 多语言 notebook

Nextjournal是一款多语言 notebook,从头开始设计,使复杂的数据科学无痛。允许用户灵活地使用Bash、Python、R、Julia或Clojure进行编码,而且可以创建包含多个运...

收藏 6
Nextjournal

Koalas - Apache Spark Pandas API

通过扩充Apache Spark的Python DataFrame API以与Pandas兼容,Koalas项目在与大数据交互时提高了数据科学家的工作效率。 Pandas是Python中事实上的...

收藏 6

Delta Lake - 用于大数据的存储层

Delta Lake 是一个存储层,为 Apache Spark 和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optimistic concur...

收藏 77
更新于 2022/08/11
Delta Lake

Moonbox - 数据虚拟化即服务(DVtaaS)平台解决方案

Moonbox是一个DVtaaS(Data Virtualization as a Service)平台解决方案。 Moonbox基于数据虚拟化设计思想,致力于提供批量计算服务解决方案。Moon...

收藏 28
更新于 2019/04/26

Modin - 更改一行代码扩展 pandas 工作流

Modin使用Ray提供了一种轻松的方式来加速您的Pandas笔记本,脚本和库。 与其他分布式DataFrame库不同,Modin提供与现有pandas代码的无缝集成和兼容性。 即使使用Data...

收藏 7
Modin

Trill - 高性能流分析引擎

Trill 是 Microsoft Research 开源的高性能单通道内存流分析引擎,它基于时态数据(temporal data)和查询模型(query model),可处理实时和离线数据。 ...

收藏 37
更新于 2019/01/03

Sylph - 一站式流计算平台

简介 Sylph 被定位为大数据生态中的一站式流计算平台,您可以使用它来开发、管理、监控、运维您的流计算. 什么没看懂? 没关系apache-hive您总听过吧?(如果依然不知道,那么您最先需要...

收藏 53
更新于 2019/04/26
Sylph

Jupyter Notebook - Web 交互式计算笔记本平台

Jupyter Notebook 是一个基于 Web 的交互式计算笔记本环境。 Jupyter Notebook 允许用户创建和共享各种内容,包括实时代码、方程式、可视化和叙述文本的文档。它的用...

收藏 23
更新于 2019/11/13

SpinalTap - 变更数据捕获服务​

SpinalTap —— 通用可靠的变更数据捕获(Change Data Capture: CDC)服务 SpinalTap 是一种可扩展、高性能、可靠、无损的变更数据捕获(CDC)服务,能够检...

收藏 34
更新于 2018/09/28

TonY - 构建在 Hadoop YARN 上的 TensorFlow 框架​​​​​​​

TensorFlow on YARN (TonY) 是一个构建在 Hadoop YARN 上的 TensorFlow 框架。 TonY 可以将单节点或分布式 TensorFlow 训练作为 Ha...

收藏 11
更新于 2021/08/27
TonY

Rain - Rust 实现的分布式计算框架

Rain 是一个 Rust 实现的轻巧且强大的分布式计算框架,适用于处理大规模的基于任务的管道。 Rain 旨在降低分布式计算世界的入门门槛,目的是提供一个轻巧而强大的分布式框架,该框架具有直观...

收藏 51
更新于 2018/07/11
Rain

Metacat - 元数据发现服务框架

Metacat 是一个联合的元数据 API 服务,可以访问 Hive、RDS、Teradata、Redshift、S3 和 Cassandra。 Metacat 为您提供您所拥有的数据信息,包括...

收藏 21

finndycloud - 开源分布式云采集工具化引擎

发源地开源云采集引擎 发源地云采集引擎是由发源地研发团队开发的一套开源分布式云采集工具化引擎,致力于让用户快捷挖掘大数据矿山背后的价值! 发源地云采集引擎完全基于云端,集数据采集、清洗、去重、加...

收藏 30
开源软件作者
iui Design 作者
PbootCMS 作者
kpc 作者

Apache Fluo - 大规模数据集增量处理系统

Apache Fluo 是 Google Percolator(搜索索引)的开源实现,允许用户对存储在 Apache Accumulo 中的大型数据集进行增量更新,而无需重新处理所有的数据。与批...

收藏 42
更新于 2018/03/08
Apache Fluo

Laxcus - 分布式操作系统

LAXCUS是操作系统家族新物种,不同于传统的单机操作系统,它属于多机操作系统。 传统的单机操作系统,一套系统管理一台计算机。 LAXCUS分布式操作系统,一套系统管理许多台计算机。 传统的应用...

收藏 67
更新于 2018/01/23

Apache Edgent - 面向物联网设备的运行时

Apache Edgent 是一种编程模型和具有微内核风格的运行时,可嵌入到网关和小型的物联网设备中。Apache Edgent 能用于对来自器材、车辆、系统、应用、设备和传感器(例如树莓派或智...

收藏 99
更新于 2018/01/05
Apache Edgent

Weld-Project - 用于数据分析应用程序的高性能运行时

Weld 使用 Rust 语言编写,可以使用 LLVM 编译器框架,为整个数据分析工作流生成高效的并行运行的代码。CSAIL 曾开发出了几个将速度推向极限的大数据加速项目,比如 Milk 和 T...

收藏 3

HPAT - 基于编译器的大数据框架

HPAT 是一个基于编译器的大数据框架,使用 Python 编写。 高性能分析工具包(HPAT)是一个基于编译器的框架,用于群集/云环境中的大数据分析和机器学习,既易于使用又非常快速;它比 Ap...

收藏 3

没有更多内容

加载失败,请刷新页面

返回顶部
顶部