Curve 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Curve 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Curve 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !

软件简介

CURVE 是网易开源的高性能、高可用、高可靠分布式存储系统,具有非常良好的扩展性。基于该存储底座可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。CURVE 的设计开发始终围绕三个理念:一是顺应当前存储硬件设施发展趋势,做到软硬件结合打造顶级的存储产品;二是秉持 “Simple Can be harder than complex”,了解问题本质情况下选择最简单的方案解决问题;三是拥抱开源,在充分调研的前提下使用优秀的开源项目组件,避免造轮子。

当前网易基于 CURVE 已经实现了高性能块存储系统,支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。

特性

1. 高性能

高性能是 CURVE 的一大特点,也是项目团队创建 CURVE 项目的初衷。RPC 层面 CURVE 采用了高性能和低延迟并且已开源的 brpc;在一致性层面选择了基于 quorum 机制并且开源的 braft,从协议层面来说 quorum 机制在延迟方面天生优于多副本强一致的方式。实现上 CURVE 对 braft 快照的实现进行了优化,在状态机的实现上采用 chunkfilepool 的方式 ( 初始化集群的时候格式化出指定比例的空间用作 chunk ) 使得底层的写入放大为 0;此外CURVE 还在 chunk 上进行更细力度的地址空间 hash 以达到读写分离、减小 IO 碰撞等的效果,从而进一步提升 IO 性能。

2. 高可用

高可用是 CURVE 的另一大特点。MDS、ChunkServer 以及 SnapShotCloneServer 都支持多实例部署,部分实例异常不影响整个集群的可用性。

  • MDS

    MDS 是无状态的,推荐至少部署两个实例。通过 Etcd 进行选主。多个 MDS 实例通过 Etcd 进行选主,当单个实例失效时,可以秒级切换到另外一个实例。失效实例上正在处理的请求,Client 和 SnapShotCloneServer 都会对其进行重试,以达到不影响集群可用性的效果。

  • SnapShotCloneServer

    SnapShotCloneServer 与 MDS 类似, 也是通过 Etcd 进行选主,不同的是,它通过负载均衡对外提供服务。失效期间的请求失败重试都是幂等的,不影响任务的正确性以及集群的可用性。

  • ChunkServer

    ChunkServer 是一个集群,通过 Raft 协议保持数据一致性,并通过 MDS 做负载均衡。单个节点失效时,会影响到这个节点上存储的所有 Copyset。对于 Copyset 上的 Leader 节点,会中断服务,等待重新选举;对于Copyset 上的 follower 节点,服务不会受影响。当某个 Chunkserver 节点失效且在一段时间内无法恢复,MDS 会将其上的数据迁移到其他节点上。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(1)
发表了资讯
07/22 14:34

支持生产级共享文件存储,Curve v2.3.0 版本发布!

为了能让用户使用到稳定可靠的 Curve 存储系统,我们在 v2.2.0 版本的基础上,进行了全方位的常规功能测试、混沌测试、性能测试、压力测试、长期稳定性测试等工作,并且将 CurveFS 文件存储上线到网易内部业务生产环境,经过一段时间的稳定运行考验后,我们发布了 v2.3.0 版本。 版本地址: https://github.com/opencurve/curve/releases/tag/v2.3.0-rc0 版本部署手册: https://github.com/opencurve/curveadm/wiki Curve 是云...

0
13
发表了资讯
07/15 13:50

国产开源存储之光:Curve 通过信创认证

网易数帆喜讯再传,Curve近日通过信息技术应用创新(信创)认证! Curve是一款高性能、易运维、云原生的分布式存储系统,由网易数帆存储团队发起开源,现为CNCF沙箱项目。国家工业信息安全发展研究中心测试结果显示,Curve在文件存储与块存储的功能性、性能效率、可靠性、维护性等方面49个测试用例全部通过。 当前我国正处在数字经济高速发展期,建设国产自主可控体系、大力发展信创产业已成为“数字基建”的目标,此次获得权威...

3
12
发表了资讯
06/15 15:19

CNCF Sandbox 项目达成!Curve 走近统一云原生开源存储梦想

2022 年 6 月 15 日,云原生计算基金会 (CNCF) 宣布,分布式存储系统 Curve 被正式接纳为 CNCF 沙箱(Sandbox)项目。Curve 由网易数帆开源,提供块存储和文件存储能力,旨在以网易分布式架构和云原生实践经验反哺社区,填补高性能、易运维、云原生的开源分布式存储的空白。 Curve 进入 CNCF 沙箱,意味着全球顶级开源基金会对网易数帆云原生存储技术演进的认可,也验证了网易数帆在数字化基础软件领域的深厚积累,及对未来技术...

1
12
发表了资讯
03/02 16:57

Curve 加入 PolarDB 开源数据库社区,强化分布式共享存储

Curve社区签署阿里巴巴开源CLA(Contribution License Agreement, 贡献许可协议), 正式与阿里云PolarDB 开源数据库社区牵手,成为继 CurveFS 发布之后,Curve 开源项目发展的又一里程碑。 在3月2日的开源 PolarDB 企业级架构发布会上,阿里云对 PolarDB for PostgreSQL 的存储计算分离等架构设计进行了全面解读,作为 PolarDB 技术合作伙伴,Curve 为 PolarDB for PostgreSQL 提供分布式共享存储,其强大的性能表现引发了社区的注...

1
4
发表了资讯
2021/12/16 11:36

CurveFS beta 版首发,Curve 锚定云原生软件定义存储

近日,Curve 开源存储社区发布了 CurveFS 的第一个 beta 版本,旨在解决 CephFS 在云原生场景下存在的一系列性能及功能问题,并提供了全新的部署工具 CurveAdm ,以简化用户对 Curve 集群的部署和管理。 Curve 是由网易数帆发起的一款开源存储系统,定位于高性能、易运维、支持广泛场景的开源云原生软件定义存储系统。项目包括 CurveFS 和 CurveBS,其中 CurveBS 此前已经开源。 CurveFS beta 版地址: https://github.com/ope...

2
6
发表于开发技能专区
2020/07/16 18:27

网易开源分布式存储系统 Curve,性能可达 Ceph 1.84 倍

7月16日,网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统,官方称其性能可达 Ceph 的 1.84 倍。 据官方介绍,Curve 的定位是提供一个高性能、低延迟的存储底座,基于这个存储底座,企业可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。目前,网易数帆已经实现了高性能块存储系统。根据项目文档介绍,Curve 主要具有三大特性:高性能、高可用和自治。 高性能:Curve 团...

15
54
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
1 评论
327 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部