SeaweedFS 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
SeaweedFS 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
SeaweedFS 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Google Go
操作系统 跨平台
软件类型 开源软件
所属分类 服务器软件存储系统
开源组织
地区 国产
投 递 者 叶秀兰
适用人群 未知
收录时间 2015-10-28

软件简介

SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file 的映射,类似 "NoSQL",也可以说是 "NoFS"。

SeaweedFS 仅花费 40 字节的硬盘来存储每个文件的元数据。

基准测试基于 Mac Book,固态硬盘,CPU:1 Intel Core i7 2.6GHz。

编写 1 百万的 1KB 文件:

Concurrency Level:      16
Time taken for tests:   88.796 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106764659 bytes
Requests per second:    11808.87 [#/sec]
Transfer rate:          12172.05 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.2      1.3       44.8      0.9

Percentage of the requests served within a certain time (ms)
   50%      1.1 ms
   66%      1.3 ms
   75%      1.5 ms
   80%      1.7 ms
   90%      2.1 ms
   95%      2.6 ms
   98%      3.7 ms
   99%      4.6 ms
  100%     44.8 ms

自由读取 1 百万文件:

Concurrency Level:      16
Time taken for tests:   34.263 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106762945 bytes
Requests per second:    30603.34 [#/sec]
Transfer rate:          31544.49 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.0      0.5       20.7      0.7

Percentage of the requests served within a certain time (ms)
   50%      0.4 ms
   75%      0.5 ms
   95%      0.6 ms
   98%      0.8 ms
   99%      1.2 ms
  100%     20.7 ms
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(6) 发布并加入讨论🔥
发表了资讯
2022/08/08 07:57

SeaweedFS 3.2.0 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前 SeaweedFS 发布 3.2.0 版本,除了许多小修复外,还有两个主要改进: FUSE 支架越来越稳定。截断操作的过期修复使 SQLite 能够安全运行。 filer.sync可以并行同步多个文件更改。(在修复之前,所有更改只能在目标文件管理器集群中一一应用)。 更改日志: FUSE Mount 修复 truncate 操作导致新文件较小时数据写入失败 #2...

0
3
发表了资讯
2022/06/14 07:03

SeaweedFS 3.1 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前 SeaweedFS 发布 3.1 版本, 远程对象存储网关 通过删除标记,修复与 BackBlaze 的兼容性问题。 Mount 提高序列读取速度 #3074 在挂载选项中添加 disableXAttr #3140 S3 根据 fs.configure 设置检测 TTL #3075 修复 NextCloud 中删除父目录的问题 #3130 修复 S3 测试:远程请求的无效范围 #3154 文件管理器同步 添加选项以...

0
3
发表了资讯
2022/04/26 07:32

SeaweedFS 3.0 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前 SeaweedFS 发布 3.0 版本,此版本删除了编译时不常用的大尺寸库,包括:“elastic、gocdk、sqlite、hdfs”。如果需要,请直接使用 Makefile 编译这些库。其他改动如下: Shell 按集合和卷 ID 划分 shell 真空卷 #2936 volume.list 添加新选项:通过集合名称模式或通过 volumeId 显示只读卷 #2940 Filer 修复读取错误时的...

0
7
发表了资讯
2022/04/13 07:15

SeaweedFS 2.98 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前 SeaweedFS 发布 2.88 版本,带来如下改动: 文件管理器和挂载 跟踪和读取纠删码(Erasure Coding)编码的分片 文件管理器 改进了用于创建目录、删除、重命名、上传进度的 UI。 FUSE 安装 在压力测试期间修复 nil CSI 驱动程序 修复剩余的 Unix 套接字文件 更新公告:https://github.com/chrislusf/seaweedfs/releases/t...

0
5
发表了资讯
2022/02/01 07:18

SeaweedFS 2.88 发布,分布式文件系统  

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前 SeaweedFS 发布 2.88 版本,带来如下改动: Volume 将卷并行移动到其他层。#2618 FUSE Mount 切换到内存缓冲区进行大文件随机写入。 还原“POSIX:如果目录不为空,则不应删除”。它导致rm -Rflinux上的文件夹删除错误。 Master 添加指标端口。#2613 删除 gRPC 最大连接时长限制 b9b6841 Gateway to remote object store...

0
6
2021/06/21 07:04

SeaweedFS 2.54 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.50 已发布,该版本更新内容如下: FUSE mount 修复 2.53 中引入的一个 deletion bug #2138。这会导致文件块实际上没有被删除,这可以通过在weed shell中运行volume.fix来修复。 如果文件被删除,则跳过刷新。这使 WinFsp 能够通过 sshfs 在 Windows 上挂载 SeaweedFS #2110 Master 当一个 collection 被删除...

0
2
2021/06/02 07:43

SeaweedFS 2.50 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.50 已发布,该版本更新内容如下: Fuse Mount 添加 fuse 子命令以将 weed 与 mount 一起使用 #2085 #2099 Filer Store 支持 sqlite 作为 filer meta store Filer.bacup 备份到本地目录,可选择增量 #2084 从 Windows 上的路径转义冒号 #2084 S3 对象写缓存控制和过期 #2079 使用 If-Match 获取对象:bogus...

0
5
发表了资讯
2021/05/25 06:55

SeaweedFS 2.49 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.49 已发布,该版本更新内容如下: FUSE Mount 支持多个文件管理器 #2015 #1531 Filer 如果出现传输错误,接收 grpc 连接 #2070 在 master 暂时失去连接的情况下进行等待 从 peer filer 中启动 #1861 Master 避免当节点与父节点断开连接时可能出现的 nil #2073 S3 如果请求被签名但没有设置认证,则增加错误...

0
1
2021/05/23 07:55

SeaweedFS 2.48 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.48 已发布,该版本更新内容如下: Mount 修复与重命名文件和目录有关的错误#2068 #2064 仍在写入文件时修复读取文件#2065 weed filer.copy 添加选项以在文件大小相同时跳过复制文件#2067 更新说明:https://github.com/chrislusf/seaweedfs/releases/tag/2.48...

0
1
发表了资讯
2021/05/14 07:10

SeaweedFS 2.47 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.47 已发布,该版本更新内容如下: Volume 提前 volume assignment #2049 添加 retry 以 assign volumes #2056 FUSE Mount 上传前写入本地临时文件 Filer 删除特定标签#2041 修复错误的日志错误#2051 Shell 可选的并行复制 ec shards#2048 S3 如果 bucket 不存在,则返回 404 #2039 Java Client 添加 ...

0
4
2021/05/04 07:28

SeaweedFS 2.43 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.43 已发布,该版本更新内容如下: FUSE Mount 修复多个装载之间数据不一致的回归问题#2038 处理随机读取更有效地利用内存#2037 S3 授权使用 bucket wild cards#2030 Minor Volume server:-minFreeSpaceoption 支持特定的可用空间大小#2025 不要在 brotlii archives#2031 和 rar 文件#2032 上进行压缩...

0
4
2021/04/26 07:27

SeaweedFS 2.41 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.41 已发布,该版本更新内容如下: FUSE mount 延迟新文件的创建,直到文件被关闭,除非文件被专门打开 Volume Server Erasure Code: transient errors 可能会导致 thundering herd effect#2012 当 below minFreeSpacePercent 时,不要添加新的 volumes#2017 Filer 删除文件夹时,Mysql/Postgres 数据库中...

0
9
2021/04/20 07:47

SeaweedFS 2.40 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.40 已发布,该版本更新内容如下: FUSE mount 内存使用效率更高 Bugs volumeServer.evacuate 匀速运动#1990 volume.check.disk 跳过只读卷循环#2002 volume.tier.move:当目标卷服务器已经具有卷时,避免数据丢失#2001 避免循环使用音量分配替代请求#1996 weed shell返回终端正确#1995 filer pload 到...

0
2
2021/03/10 07:49

SeaweedFS 2.30 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.30 已发布,该版本更新内容如下: Filer 添加weed filer.meta.backup命令以将元数据备份到另一个文件管理器存储。 Cloud Tier 上载到 non-AWS S3 网关 S3 ListBuckets 显示可访问的 buckets#1837 MultipleObjectDelete 也会删除文件夹#1857 Volume Server 修复 EC shard count logic #1863 添加实验性 TC...

0
6
2020/12/28 08:18

SeaweedFS 2.17 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.17 已发布,该版本更新内容如下: 文件管理器 Redis,Cassandra 可以支持超大目录 为文件存储添加 HBase 通过删去常见的前缀,使特定路径的商店具有可移植性。 添加-defaultStoreDir以便filer.toml可以被跳过#1659 S3 修复导致空文件夹循环的错误#1701 修复 bucket-specific 的管理员权限 更新说明:htt...

0
3
2020/11/24 08:14

SeaweedFS 2.12 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.12 已发布,该版本更新内容如下: S3 弃用 filer.toml 中的 "filer.options.buckets_fsync"。使用 fs.configure 为 bucket 的特定选项配置特定的路径选项。 当响应有错误时,请避免使用 nil。#1622 Filer fs.configure 增加了可配置的 volume growth。 Hadoop Compatible File System 1.5.6 添加 replicat...

0
3
2020/11/05 10:38

SeaweedFS 2.08 发布,分布式文件系统

没投过票?千万别说你来过 OSC https://www.oschina.net/project/top_cn_2020 SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.08 已发布,该版本更新内容如下: Mount 将 retries 添加到所有 gRPC 操作。#1589 添加CLI选项以限制并发编写器 S3 在 GET requests 中返回x-amz-tag-countheader #1566 Support 在 request header 中支持 X-Amz-Storage-Clas...

0
3
2020/10/19 11:16

SeaweedFS 2.05 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.05 已发布,该版本更新内容如下: FUSE Mount 大型文件的并行写入请求速度提高了 4 倍。 修复weed mount -filer.path=...参数时的空文件夹。 Filer 修复了对 streaming range requests 的支持 WebDAV 修复文件小于 512 且扩展名未知的死循环 Filer 读取大文件时,避免过早断开连接 Volume 添加只读卷的指标...

0
3
2020/10/06 16:40

SeaweedFS 2.03 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.03 已发布,该版本更新内容如下: FUSE mount 通过预取提高大文件读取性能,避免重复读取并修复缓存错误。 Master 添加“resumeState”选项以避免在所有主机同时重新启动时出现瞬时状态丢失的情况。 S3 API 添加了object tagging GetObjectTagging PutObjectTagging DeleteObjectTagging 更新说明:https:/...

0
2
2020/10/03 07:55

SeaweedFS 2.02 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.02 已发布,该版本更新内容如下: Volume Server 删除 volumes 是避免死锁#1501 Filer 如果未指定,复制将使用主默认值 S3 Metrics 增加了 http 状态码#1502 更新说明:https://github.com/chrislusf/seaweedfs/releases/tag/2.02...

0
2
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
6 评论
239 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部