SeaweedFS 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
SeaweedFS 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 Apache
开发语言 Google Go
操作系统 跨平台
软件类型 开源软件
所属分类 服务器软件存储系统
开发厂商
地区 国产
提 交 者 叶秀兰
适用人群 未知
收录时间 2015-10-28

软件简介

SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file 的映射,类似 "NoSQL",也可以说是 "NoFS"。

SeaweedFS 仅花费 40 字节的硬盘来存储每个文件的元数据。

基准测试基于 Mac Book,固态硬盘,CPU:1 Intel Core i7 2.6GHz。

编写 1 百万的 1KB 文件:

Concurrency Level:      16
Time taken for tests:   88.796 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106764659 bytes
Requests per second:    11808.87 [#/sec]
Transfer rate:          12172.05 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.2      1.3       44.8      0.9

Percentage of the requests served within a certain time (ms)
   50%      1.1 ms
   66%      1.3 ms
   75%      1.5 ms
   80%      1.7 ms
   90%      2.1 ms
   95%      2.6 ms
   98%      3.7 ms
   99%      4.6 ms
  100%     44.8 ms

自由读取 1 百万文件:

Concurrency Level:      16
Time taken for tests:   34.263 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106762945 bytes
Requests per second:    30603.34 [#/sec]
Transfer rate:          31544.49 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.0      0.5       20.7      0.7

Percentage of the requests served within a certain time (ms)
   50%      0.4 ms
   75%      0.5 ms
   95%      0.6 ms
   98%      0.8 ms
   99%      1.2 ms
  100%     20.7 ms
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
上传和下载文件时都是把文件的完整内容读入内存中,而且多个请求不共享内存,有多份文件内容的拷贝。感觉不像想象中的那么靠谱。https://github.com/chrislusf/seaweedfs/issues/211 #SeaweedFS#
2015/10/29 09:05
回复
举报
更多评论
11/24 08:14

SeaweedFS 2.12 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.12 已发布,该版本更新内容如下: S3 弃用 filer.toml 中的 "filer.options.buckets_fsync"。使用 fs.configure 为 bucket 的特定选项配置特定的路径选项。 当响应有错误时,请避免使用 nil。#162...

0
2
11/05 10:38

SeaweedFS 2.08 发布,分布式文件系统

没投过票?千万别说你来过 OSC https://www.oschina.net/project/top_cn_2020 SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.08 已发布,该版本更新内容如下: Mount 将 retries 添加到所有 gRPC 操作。#1589 添加CLI选项以限制并发编写器 S3 在...

0
4
10/19 11:16

SeaweedFS 2.05 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.05 已发布,该版本更新内容如下: FUSE Mount 大型文件的并行写入请求速度提高了 4 倍。 修复weed mount -filer.path=...参数时的空文件夹。 Filer 修复了对 streaming range requests 的支持 WebD...

0
3
10/06 16:40

SeaweedFS 2.03 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.03 已发布,该版本更新内容如下: FUSE mount 通过预取提高大文件读取性能,避免重复读取并修复缓存错误。 Master 添加“resumeState”选项以避免在所有主机同时重新启动时出现瞬时状态丢失的情况。...

0
2
10/03 07:55

SeaweedFS 2.02 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.02 已发布,该版本更新内容如下: Volume Server 删除 volumes 是避免死锁#1501 Filer 如果未指定,复制将使用主默认值 S3 Metrics 增加了 http 状态码#1502 更新说明:https://github.com/chrisl...

0
3
09/22 07:08

SeaweedFS 2.00 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.00 已发布,该版本更新内容如下: HDFS 1.4.7 添加fs.seaweed.buffer.size选项。大大地提高了性能! Shell 添加 volumeServer.leave 命令 添加 volumeServer.evacuate 命令 S3 API Gateway 添加对 ...

1
4
09/16 07:00

SeaweedFS 1.99 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.99 已发布,该版本更新内容如下: Filer 修复 postgres 无法启动的问题#1465 修复了 mysql/postgres 会 insert 然后又立即更新同一记录的问题。 Volume Server 恢复 1.96 版本中引入的 "read dele...

0
2
09/12 07:17

SeaweedFS 1.95 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.95 已发布,该版本更新内容如下: Filer 跨数据中心 Active-Active 异步复制 ElasticSearch文件管理器存储添加了更多选项。#1455 Helm Charts 升级#1456 Shell volume.fix.replication 也会清除已...

1
6
09/08 07:09

SeaweedFS 1.93 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.93 已发布,该版本更新内容如下: Filer Active-Active 或 Active-Passive 文件存储复制 新的 ElasticSearch 后端作为文件存储 #1446 #1449 GRPC API 支持前缀查询 #1431 Volume Server 压缩前检查磁...

0
3
09/02 07:23

SeaweedFS 1.92 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.92 已发布,该版本更新内容如下: Filer 确保 HTTP 连接重用。 S3 避免可能的 completeMultipartUpload 重试,以免覆盖上传的内容。 List bucket 权限由 admin 改为 read #1430。 Volume Server 对状...

0
6
08/25 07:18

SeaweedFS 1.91 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.91 已发布,该版本更新内容如下: FUSE mount 写入和读取随机访问文件的许多测试和更改 S3 修复 listObjectsV2 响应格式#1426 Filer SQL 存储插入回退以进行更新#1429 Volume server 可以用 URL ...

0
4
08/20 07:10

SeaweedFS 1.90 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.90 已发布,该版本更新内容如下: 支持读写随机访问文件。 FUSE mount 可以与随机访问文件一起正常使用。 重命名、设置属性、锁定等的其他更改。 Filer 修复了使用多个文件管理器时的老旧目录的问题...

0
9
08/11 07:19

SeaweedFS 1.88 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.88 已发布,该版本更新内容如下: Hadoop Compatible File System 1.44 通过更好的 caching、GC、read ahead、compression 来提高读写性能。 S3 控制匿名用户的访问 Volume 在 response header 中报...

2
4
发表于DevOps专区
08/04 06:58

SeaweedFS 1.87 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.87 已发布,该版本更新内容如下: FUSE mount 更改以使 mongodb 在 SeaweedFS mount 上运行(#1398 #1400) Hadoop Compatible File System 1.4.3 通过缓存 volume ID 位置和缓冲来加快读取速度。...

0
5
07/25 07:38

SeaweedFS 1.86 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.86 已发布,该版本更新内容如下: Overall 支持 super large files Hadoop Read/Write 性能改进。 大文件处理。 减少 memory overhead。 更好地支持Hadoop 3。 Minor 命令行允许在目录参数中使用波浪...

1
4
发表于运维专区
07/14 07:14

SeaweedFS 1.85 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.85 已发布,该版本更新内容如下: Replication 支持 active-active filer replicatio。 Volume Server 默认最小为 1% 的可用磁盘空间。 (minor)默认情况下,volume server 中的 volume 为 8。如果...

0
12
发表于DevOps专区
06/29 07:30

SeaweedFS 1.83 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应! 目前,SeaweedFS 1.83 已发布,该版本更新内容如下: Volume Server 修复 logic 以相应地检测 mime 类型和 gzip。 删除 fixJpgOrientation 功能 添加默认的minFreeSpacePercent #1366 添加可选的 MD5 验证上传数据#1...

2
3
06/25 07:42

SeaweedFS 1.82 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应! 目前,SeaweedFS 1.82 已发布,该版本更新内容如下: 更新了 SeaweedFS CSI 驱动程序 https://github.com/seaweedfs/seaweedfs-csi-driver FUSE Mount Lazy metadata 同步。(修复 #1322) Hadoop Compatible File Sys...

0
8
06/10 07:52

SeaweedFS 1.80 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应! 目前,SeaweedFS 1.80 已发布,该版本更新内容如下: Filer 默认的 leveldb 存储添加自动恢复,报告正确的错误 Hadoop HBase 可以正常工作 Volume 在 Windows 上,支持-max=0自动设置最大音量 如果低于可配置的可用磁盘...

2
7
04/30 07:10

SeaweedFS 1.77 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应! 目前,SeaweedFS 1.77 已发布,该版本更新内容如下: FUSE Mount 默认使用本地元数据。此举带来了极大的性能改进。 Master and Shell 为 shell 程序脚本添加 lock/unlock,以独占管理群集。现有的 volume 操作需要先锁...

0
5
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/06/29 10:49

seaweedFS

那首先我们来分析一下seaweedfs是什么?seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目。它是用来存储文件的系统,并且与使用的语言无关,使得文件储存在云端变得非常方便。seaweedfs也是一个非常优秀的开源项目,Seaweedfs的设计原理是基于 Facebook 的一篇图片存储系统的论文Facebook-Haystack。一听就...

0
6
发表了博客
2019/04/24 18:54

seaweedfs

最新版本:https://github.com/chrislusf/seaweedfs/releases wiki:https://github.com/chrislusf/seaweedfs/wiki 优秀讲解:https://tonybai.com/2015/08/22/intro-of-using-weedfs/ ./weed master > weed volume -dir="/tmp/data1" -max=5 -mserver="localhost:9333" -port=8080 & > weed volume -dir="/tmp/data2" ...

0
0
发表于服务端专区
2018/05/30 10:14

Docker seaweedfs

关于seaweedfs的介绍我就不在此文赘述,本文的主要目的是讲述我在docker中运行seaweedfs遇到的一些问题。 这是我搜集的一些关于SeaWeedFS的资料 ps.不管是在物理机还是docker之中运行seaweedfs,建议为volume开放publicUrl,且该url最好为域名形式,通过nginx或者apache进行端口转发。 Docker SeaWeedFS的使用 方式1:自...

0
4
发表于软件架构专区
2017/10/21 03:02

seaweedfs-02

源码目录结构 核心模块 weed 入口目录 weed/weed_server 入口目录与HTTP服务相关 topology 核心模块,主要包括 【DataCenter, Rack, DataNode】 三层拓扑结构。 storage 核心模块,主要包括【Store, Volume, Need...

0
0
发表了博客
2018/06/21 23:04

seaweedfs使用记录

搭建seaweedfs 在github上面clone,然后cd到docker目录使用docker-compose up -d就可以启动seaweedfs 启动以后通过xxx:9333可以看到效果 上传单个文件的python代码: import requests url = "http://172.18.9.155" with open("cat.jpg","rb") as file: post_res = requests.post(url + ":9333/dir/assign").json()['fid'...

0
0
发表了博客
2018/04/18 17:21

seaweedfs

1. 部署 start.cmd start /b weed.exe -log_dir=./log/master1/ master -ip=127.0.0.1 -port=19333 -peers=127.0.0.1:19333 -defaultReplication=001 -mdir=./data/master1/ & start /b weed.exe -log_dir=./data/volume1/ volume -ip=127.0.0.1 -port=28081 -mserver=127.0.0.1:19333 -idleTimeout=550 -dir=./data/vo...

0
0
发表了博客
2018/06/30 16:37

seaweedfs代码详解

在seaweedfs分布式文件系统中,删除文件时,deleteNeedle会做三件事情,如下图 第一个删除kv数据库中的索引信息,第二件是,在索引文件的尾部添加删除的信息,对索引文件中原来存储的信息,并不删除。第三件是删除datafile文件中的数据 ,但是并没有真正的删除数据,在datafile文件尾部,写了一个包含needle head的数据,...

0
0
发表了博客
2017/10/20 15:51

SeaweedFS---01

seaweedfs中的名词: master: 存储文件和fid映射关系 volumn:实际存储文件 datacenter: 数据中心 rack: 机架。一个机架属于特定的数据中心,一个数据中心可以包含多个机架。 collection: 一组volume的集合。如果在存储文件的时候没有指定collection,那么使用默认的"" weed-fs提供了若干种replication策略(rack – 机架...

0
0
发表于开发技能专区
2019/01/26 09:19

SeaweedFS在.net core下的实践方案

一直对分布式的文件储存系统很感兴趣,最开始关注淘宝的TFS(Taobao File System),好像搁浅了,官方地址无法访问,github上面,各种编译问题,无意间发现了SeaweedFS 链接seaweedfs 测试了一番,写个应用的文章...

0
0
发表了博客
2018/07/27 15:32

SeaweedFS上手使用指南

SeaweedFS是基于go语言开发的高可用文件存储系统,主要特性 1、成存储上亿的文件(最终受制于你的硬盘大小) 2、速度快,内存占用小 上手使用比fastDFS要简单很多,自带Rest API。 SaaWeeDFS作为对象存储库来有效地处理小文件。不是管理中央主机中的所有文件元数据,中央主机只管理文件卷,它允许这些卷服务器管理文件和...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
215 收藏
分享
返回顶部
顶部