数据处理 - 开源软件 - OSCHINA - 中文开源技术交流社区

YTsaurus 是一个分布式存储和处理大数据的平台，支持 MapReduce 模型，带有一个分布式文件系统和一个 NoSQL 键值数据库。平台优势：多租户生态一套相互关联的子系统：Map...

更新于 2023/03/26

Wasm-bpf 是一个 WebAssembly eBPF 库和运行时，基于 CO-RE(一次编写 – 到处运行) libbpf 和 wasm-micro-runtime 实现。 Wasm 最...

更新于 2023/03/10

Tuplex 是一个并行的大数据处理框架，它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache Spark或Dask类似的 Python API ，但与调...

iceoryx 是一个适用于各种操作系统的进程间通信（IPC）中间件（目前已支持 Linux、macOS 和 QNX）。它起源于汽车行业，当涉及到驾驶辅助或自动驾驶系统时，大量的数据必须在不同的...

更新于 2021/06/29

ZNBase 是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整 ACID，支持 PostgreSQL 协...

更新于 2021/08/16

openLooKeng 是一款高性能数据虚拟化引擎，提供统一 SQL 接口，具备跨数据源/数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、...

更新于 2022/01/29

Pothos 项目是一个完善的数据流框架，用于创建互相连接的数据处理模块拓扑图。数据处理的拓扑图可以进行图形化的设计和测试，并应用到设备网络。 Pothos framework API 是平滑的...

Annoy 是 Spotify 开源的高维空间求近似最近邻的库，在 Spotify 使用它进行音乐推荐。最邻近搜索（Nearest Neighbor Search, NNS）又称为“最近点搜索”...

ROOT 是一个模块化的科学软件工具包，它是一个数据处理框架，提供了大数据处理、统计分析、可视化和存储所需的所有功能，主要使用 C++ 编写而成，同时可集成 Python 和 R 等其它语言。 ...

更新于 2019/08/20

MacroBase 是一个数据分析工具，利用机器学习优先处理大型数据集。具体来说，MacroBase 是一个新的分析监督引擎，旨在进行大型数据集和数据流优先处理。与传统的分析引擎不同，Macr...

Vespa 是雅虎开源的针对大数据集的低延迟计算引擎。它存储和索引数据，以便在服务时间对数据进行查询、选择和处理。 Vespa 可实现：使用类似 sql 的查询和非结构化搜索来选择内容组织所...

Surus 是 Pig 和 Hive 的分析集合，包括以下功能： ScorePMML - 云评测模型工具 Robust Anomaly Detection (RAD) - 健壮的 PCA 实现