DevOps研发效能
媒体矩阵
开源中国APP
加载中

smallpond - 轻量级数据处理框架
编辑推荐
国内精选

smallpond 是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。 主要特性 拥有由 DuckDB 提供的高性能数据处理能力 支持扩展至 PB 级数据集 操作简便,无需长期运...

收藏 0

3FS - 高性能并行文件系统
编辑推荐
国内精选

3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统,旨在解决 AI 训练和推理工作负载带来的挑战,利用现代 SSD 和 RDMA 网络提供共享存储层,简化分布...

更新于 2025/02/28
收藏 2

EPLB - 专家并行负载均衡器
编辑推荐
国内精选

EPLB (Expert Parallelism Load Balancer) 是适用于 V3/R1 的专家并行负载均衡器,解决 MoE 模型在分布式训练和推理中的负载不均衡问题。 在 MoE ...

收藏 0

DualPipe - 双向流水线并行算法
编辑推荐
国内精选

DualPipe(“双管道”)是在《深度搜索-V3 技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠,同时也减少了流水线气泡。 DualPipe采用了双...

更新于 2025/02/27
收藏 0

Pyper - Python 并发编程框架

Pyper 是一个旨在简化 Python 并发编程的框架,它提供了一个直观的 API,支持基于函数式编程模式的并发和并行数据处理,它能解决并发编程复杂、易出错的问题,核心价值在于简化并发和并行数...

收藏 0

taskq - Golang 异步任务/作业队列

taskq 是一个带有 Redis、SQS、IronMQ 和内存后端的 Golang 异步任务/作业队列。 特性: Redis、SQS、IronMQ 和内存后端。 自动缩放用于获取(fetche...

更新于 2022/05/21
收藏 22

Crossbeam-rs - Rust 并发库

Crossbeam 是一款 Rust 并发库,提供了一系列用于并发编程的工具: Atomics AtomicCell, 线程安全的可变内存位置 (no_std) AtomicConsume, 用...

更新于 2022/04/23
收藏 11

HVM - 大规模并行功能运行时
编辑推荐

高阶虚拟机 (HVM) 是一个纯函数式编译目标,它是惰性的、非垃圾收集的和大规模并行的,同时也是 beta 最优的,这意味着在某些情况下,它可以比大多数功能运行时(包括 Haskell 的 GH...

收藏 5

Libcsp - 高性能 C 语言并发库

Libcsp 是一个高性能 C 语言并发库,受 CSP 模型影响而成。Libcsp 的速度比 Golang 快 10 倍。 特性: 支持多 CPU。 高性能调度。 编译时静态分析堆栈大小。 Lo...

更新于 2020/04/28
收藏 74

LIB-ZO - C 语言协程库
国内精选

LIB-ZO 是一个 C 语言协程库。 支持文件IO类协程化(如mkdir, getdents等) 支持协程条件, 协程锁 慢操作协程化 支持sleep 部分支持dns协议 支持静态编译

收藏 12

gowp - Golang 高性能异步工作池
国内精选

gowp 是一个 Golang 高性能异步工作池。 并发限制goroutine池。 限制任务执行的并发性,而不是排队的任务数。 无论排队多少任务,都不会阻止提交任务。 通过队列支持queue g...

更新于 2020/01/15
收藏 46

Gpseq - Vala 和 GObject 的并行库

Gpseq 是 Vala 和 GObject 的并行库,提供如下特性: Work-stealing 和管理阻塞任务调度:与 Go 调度程序类似的行为 具有并行执行支持的用于数据处理的函数式编程:...

收藏 5

YTask - Go 异步任务队列
国内精选

YTask 是 Go 的异步任务队列,比起其他框架更方便快捷。 架构图: 特性: 支持几乎所有类型,包括基本类型(int, floalt, string),数组切片,结构体以及复杂的结构体嵌套。...

更新于 2022/08/31
收藏 26

DtCraft - 通用分布式编程系统
编辑推荐

DtCraft是一种基于数据并行流的通用分布式编程系统。 它提供了一种称为流图的新型强大编程模型,用于构建并行和分布式工作负载。 将应用程序转换为此框架后,内核将透明地为您执行作业分发。 您不必...

收藏 41
DtCraft

concurrent-aggregator - Spring 无关联并发聚合器
国内精选

背景与目的 在开发后台接口时, 为了开发效率, 我们往往习惯编写串行执行的代码, 去调用不同的接口, 即使这些接口之间并无依赖, 这使得最后开发的接口性能低下, 且数据不方便复用 此框架目的旨在...

收藏 11
开源软件作者
畅阳能碳管理平台 作者
GoHanlp 作者
ksc
kuaipan cli client 作者

BascomTask - 轻量级任务编排库

BascomTask 是一个轻量级的任务编排库,具有以下特点: 自动布线 有条件的布线 多实例支持 动态图修改 最佳线程管理 BascomTask 的核心设计理念包括: 灵活性,同时最大限度地发...

收藏 8

Accelerator - 快速数据处理框架

Accelerator 由 eBay 开源发布,是一个数据处理框架,可提供快速数据访问、并行执行。 它可用于日常数据分析任务,也可当做是具有数十万个大型数据文件和多个 CPU 的实时系统。 该项...

收藏 6

Zinx - 基于 Go 的轻量级并发服务器框架
编辑推荐
国内精选

Zinx 是一个基于Golang的轻量级并发服务器框架 开发人员 - 刘丹冰(@aceld) - 张超(@zhngcho) 一、写在前面 我们为什么要做Zinx,Golang目前在服务器的应用框...

更新于 2019/04/23
收藏 90

CharmPy - 分布式并行编程框架

CharmPy 是一个通用的分布式并行编程框架,具有简单而强大的 API ,基于可迁移的 Python 对象和远程方法调用; 构建于自适应 C ++ 运行时系统之上,提供速度、可扩展性和动态负载...

收藏 10

Libdill - C 语言并发编程库
编辑推荐

Libdill 是一个 C 开发库,可以轻松用来编写结构化的并发程序。下面例子启动两个并发的 worker 函数打印 Hello 和 World : #include <libdill.h> ...

收藏 21

没有更多内容

加载失败,请刷新页面

返回顶部
顶部