并发/并行处理框架 - 开源软件 - OSCHINA

smallpond 是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。主要特性拥有由 DuckDB 提供的高性能数据处理能力支持扩展至 PB 级数据集操作简便，无需长期运...

3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统，旨在解决 AI 训练和推理工作负载带来的挑战，利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布...

更新于 2025/02/28

EPLB (Expert Parallelism Load Balancer) 是适用于 V3/R1 的专家并行负载均衡器，解决 MoE 模型在分布式训练和推理中的负载不均衡问题。在 MoE ...

DualPipe（“双管道”）是在《深度搜索-V3 技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了流水线气泡。 DualPipe采用了双...

更新于 2025/02/27

Pyper 是一个旨在简化 Python 并发编程的框架，它提供了一个直观的 API，支持基于函数式编程模式的并发和并行数据处理，它能解决并发编程复杂、易出错的问题，核心价值在于简化并发和并行数...

taskq 是一个带有 Redis、SQS、IronMQ 和内存后端的 Golang 异步任务/作业队列。特性： Redis、SQS、IronMQ 和内存后端。自动缩放用于获取（fetche...

更新于 2022/05/21

Crossbeam 是一款 Rust 并发库，提供了一系列用于并发编程的工具： Atomics AtomicCell, 线程安全的可变内存位置 (no_std) AtomicConsume, 用...

更新于 2022/04/23

高阶虚拟机 (HVM) 是一个纯函数式编译目标，它是惰性的、非垃圾收集的和大规模并行的，同时也是 beta 最优的，这意味着在某些情况下，它可以比大多数功能运行时（包括 Haskell 的 GH...

Libcsp 是一个高性能 C 语言并发库，受 CSP 模型影响而成。Libcsp 的速度比 Golang 快 10 倍。特性：支持多 CPU。高性能调度。编译时静态分析堆栈大小。 Lo...

更新于 2020/04/28

LIB-ZO 是一个 C 语言协程库。支持文件IO类协程化(如mkdir, getdents等) 支持协程条件, 协程锁慢操作协程化支持sleep 部分支持dns协议支持静态编译

gowp 是一个 Golang 高性能异步工作池。并发限制goroutine池。限制任务执行的并发性，而不是排队的任务数。无论排队多少任务，都不会阻止提交任务。通过队列支持queue g...

更新于 2020/01/15

Gpseq 是 Vala 和 GObject 的并行库，提供如下特性： Work-stealing 和管理阻塞任务调度：与 Go 调度程序类似的行为具有并行执行支持的用于数据处理的函数式编程：...

YTask 是 Go 的异步任务队列，比起其他框架更方便快捷。架构图：特性：支持几乎所有类型，包括基本类型（int, floalt, string），数组切片，结构体以及复杂的结构体嵌套。...

更新于 2022/08/31

DtCraft是一种基于数据并行流的通用分布式编程系统。它提供了一种称为流图的新型强大编程模型，用于构建并行和分布式工作负载。将应用程序转换为此框架后，内核将透明地为您执行作业分发。您不必...

背景与目的在开发后台接口时, 为了开发效率, 我们往往习惯编写串行执行的代码, 去调用不同的接口, 即使这些接口之间并无依赖, 这使得最后开发的接口性能低下, 且数据不方便复用此框架目的旨在...

畅阳能碳管理平台作者

GoHanlp 作者

kuaipan cli client 作者

BascomTask 是一个轻量级的任务编排库，具有以下特点：自动布线有条件的布线多实例支持动态图修改最佳线程管理 BascomTask 的核心设计理念包括：灵活性，同时最大限度地发...

Accelerator 由 eBay 开源发布，是一个数据处理框架，可提供快速数据访问、并行执行。它可用于日常数据分析任务，也可当做是具有数十万个大型数据文件和多个 CPU 的实时系统。该项...

Zinx 是一个基于Golang的轻量级并发服务器框架开发人员 - 刘丹冰(@aceld) - 张超(@zhngcho) 一、写在前面我们为什么要做Zinx，Golang目前在服务器的应用框...

更新于 2019/04/23

CharmPy 是一个通用的分布式并行编程框架，具有简单而强大的 API ，基于可迁移的 Python 对象和远程方法调用; 构建于自适应 C ++ 运行时系统之上，提供速度、可扩展性和动态负载...

Libdill 是一个 C 开发库，可以轻松用来编写结构化的并发程序。下面例子启动两个并发的 worker 函数打印 Hello 和 World ： #include <libdill.h> ...

smallpond - 轻量级数据处理框架

编辑推荐

国内精选

3FS - 高性能并行文件系统

编辑推荐

国内精选

EPLB - 专家并行负载均衡器

编辑推荐

国内精选

DualPipe - 双向流水线并行算法

编辑推荐

国内精选

Pyper - Python 并发编程框架

taskq - Golang 异步任务/作业队列

Crossbeam-rs - Rust 并发库

HVM - 大规模并行功能运行时

编辑推荐

Libcsp - 高性能 C 语言并发库

LIB-ZO - C 语言协程库

国内精选

gowp - Golang 高性能异步工作池

国内精选

Gpseq - Vala 和 GObject 的并行库

YTask - Go 异步任务队列

国内精选

DtCraft - 通用分布式编程系统

编辑推荐

concurrent-aggregator - Spring 无关联并发聚合器

国内精选

BascomTask - 轻量级任务编排库

Accelerator - 快速数据处理框架

Zinx - 基于 Go 的轻量级并发服务器框架

编辑推荐

国内精选

CharmPy - 分布式并行编程框架

Libdill - C 语言并发编程库

编辑推荐

本类热门软件

本类推荐软件

本类热门软件