SeaweedFS 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
SeaweedFS 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
SeaweedFS 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
SeaweedFS 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
SeaweedFS 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Google Go
操作系统 跨平台
软件类型 开源软件
所属分类 服务器软件存储系统
开源组织
地区 国产
投 递 者 叶秀兰
适用人群 未知
收录时间 2015-10-28

软件简介

SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file 的映射,类似 "NoSQL",也可以说是 "NoFS"。

SeaweedFS 仅花费 40 字节的硬盘来存储每个文件的元数据。

基准测试基于 Mac Book,固态硬盘,CPU:1 Intel Core i7 2.6GHz。

编写 1 百万的 1KB 文件:

Concurrency Level:      16
Time taken for tests:   88.796 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106764659 bytes
Requests per second:    11808.87 [#/sec]
Transfer rate:          12172.05 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.2      1.3       44.8      0.9

Percentage of the requests served within a certain time (ms)
   50%      1.1 ms
   66%      1.3 ms
   75%      1.5 ms
   80%      1.7 ms
   90%      2.1 ms
   95%      2.6 ms
   98%      3.7 ms
   99%      4.6 ms
  100%     44.8 ms

自由读取 1 百万文件:

Concurrency Level:      16
Time taken for tests:   34.263 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106762945 bytes
Requests per second:    30603.34 [#/sec]
Transfer rate:          31544.49 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.0      0.5       20.7      0.7

Percentage of the requests served within a certain time (ms)
   50%      0.4 ms
   75%      0.5 ms
   95%      0.6 ms
   98%      0.8 ms
   99%      1.2 ms
  100%     20.7 ms
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
chrislusf软件作者
该评论暂时无法显示,详情咨询 QQ 群:912889742
好像没有可用的 java 客户端 sdk。。
03/06 12:58
回复
举报
肿么没人关注呢
02/17 15:17
回复
举报
打分: 力荐
很久就关注了,点赞
01/13 13:16
回复
举报
上传和下载文件时都是把文件的完整内容读入内存中,而且多个请求不共享内存,有多份文件内容的拷贝。感觉不像想象中的那么靠谱。https://github.com/chrislusf/seaweedfs/issues/211 #SeaweedFS#
2015/10/29 09:05
回复
举报
更多评论
06/21 07:04

SeaweedFS 2.54 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.50 已发布,该版本更新内容如下: FUSE mount 修复 2.53 中引入的一个 deletion bug #2138。这会导致文件块实际上没有被删除,这可以通过在weed shell中运行volume.fix来修复。 如果文件被删除,则跳过刷新。这使 WinFsp 能够通过 sshfs 在 Windows 上挂载 SeaweedFS #2110 Master 当一个 collection 被删除...

0
2
06/02 07:43

SeaweedFS 2.50 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.50 已发布,该版本更新内容如下: Fuse Mount 添加 fuse 子命令以将 weed 与 mount 一起使用 #2085 #2099 Filer Store 支持 sqlite 作为 filer meta store Filer.bacup 备份到本地目录,可选择增量 #2084 从 Windows 上的路径转义冒号 #2084 S3 对象写缓存控制和过期 #2079 使用 If-Match 获取对象:bogus...

0
5
发表了资讯
05/25 06:55

SeaweedFS 2.49 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.49 已发布,该版本更新内容如下: FUSE Mount 支持多个文件管理器 #2015 #1531 Filer 如果出现传输错误,接收 grpc 连接 #2070 在 master 暂时失去连接的情况下进行等待 从 peer filer 中启动 #1861 Master 避免当节点与父节点断开连接时可能出现的 nil #2073 S3 如果请求被签名但没有设置认证,则增加错误...

0
1
05/23 07:55

SeaweedFS 2.48 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.48 已发布,该版本更新内容如下: Mount 修复与重命名文件和目录有关的错误#2068 #2064 仍在写入文件时修复读取文件#2065 weed filer.copy 添加选项以在文件大小相同时跳过复制文件#2067 更新说明:https://github.com/chrislusf/seaweedfs/releases/tag/2.48...

0
1
发表了资讯
05/14 07:10

SeaweedFS 2.47 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.47 已发布,该版本更新内容如下: Volume 提前 volume assignment #2049 添加 retry 以 assign volumes #2056 FUSE Mount 上传前写入本地临时文件 Filer 删除特定标签#2041 修复错误的日志错误#2051 Shell 可选的并行复制 ec shards#2048 S3 如果 bucket 不存在,则返回 404 #2039 Java Client 添加 ...

0
4
05/04 07:28

SeaweedFS 2.43 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.43 已发布,该版本更新内容如下: FUSE Mount 修复多个装载之间数据不一致的回归问题#2038 处理随机读取更有效地利用内存#2037 S3 授权使用 bucket wild cards#2030 Minor Volume server:-minFreeSpaceoption 支持特定的可用空间大小#2025 不要在 brotlii archives#2031 和 rar 文件#2032 上进行压缩...

0
4
04/26 07:27

SeaweedFS 2.41 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.41 已发布,该版本更新内容如下: FUSE mount 延迟新文件的创建,直到文件被关闭,除非文件被专门打开 Volume Server Erasure Code: transient errors 可能会导致 thundering herd effect#2012 当 below minFreeSpacePercent 时,不要添加新的 volumes#2017 Filer 删除文件夹时,Mysql/Postgres 数据库中...

0
9
04/20 07:47

SeaweedFS 2.40 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.40 已发布,该版本更新内容如下: FUSE mount 内存使用效率更高 Bugs volumeServer.evacuate 匀速运动#1990 volume.check.disk 跳过只读卷循环#2002 volume.tier.move:当目标卷服务器已经具有卷时,避免数据丢失#2001 避免循环使用音量分配替代请求#1996 weed shell返回终端正确#1995 filer pload 到...

0
2
03/10 07:49

SeaweedFS 2.30 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.30 已发布,该版本更新内容如下: Filer 添加weed filer.meta.backup命令以将元数据备份到另一个文件管理器存储。 Cloud Tier 上载到 non-AWS S3 网关 S3 ListBuckets 显示可访问的 buckets#1837 MultipleObjectDelete 也会删除文件夹#1857 Volume Server 修复 EC shard count logic #1863 添加实验性 TC...

0
6
2020/12/28 08:18

SeaweedFS 2.17 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.17 已发布,该版本更新内容如下: 文件管理器 Redis,Cassandra 可以支持超大目录 为文件存储添加 HBase 通过删去常见的前缀,使特定路径的商店具有可移植性。 添加-defaultStoreDir以便filer.toml可以被跳过#1659 S3 修复导致空文件夹循环的错误#1701 修复 bucket-specific 的管理员权限 更新说明:htt...

0
3
2020/11/24 08:14

SeaweedFS 2.12 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.12 已发布,该版本更新内容如下: S3 弃用 filer.toml 中的 "filer.options.buckets_fsync"。使用 fs.configure 为 bucket 的特定选项配置特定的路径选项。 当响应有错误时,请避免使用 nil。#1622 Filer fs.configure 增加了可配置的 volume growth。 Hadoop Compatible File System 1.5.6 添加 replicat...

0
3
2020/11/05 10:38

SeaweedFS 2.08 发布,分布式文件系统

没投过票?千万别说你来过 OSC https://www.oschina.net/project/top_cn_2020 SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.08 已发布,该版本更新内容如下: Mount 将 retries 添加到所有 gRPC 操作。#1589 添加CLI选项以限制并发编写器 S3 在 GET requests 中返回x-amz-tag-countheader #1566 Support 在 request header 中支持 X-Amz-Storage-Clas...

0
3
2020/10/19 11:16

SeaweedFS 2.05 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.05 已发布,该版本更新内容如下: FUSE Mount 大型文件的并行写入请求速度提高了 4 倍。 修复weed mount -filer.path=...参数时的空文件夹。 Filer 修复了对 streaming range requests 的支持 WebDAV 修复文件小于 512 且扩展名未知的死循环 Filer 读取大文件时,避免过早断开连接 Volume 添加只读卷的指标...

0
3
2020/10/06 16:40

SeaweedFS 2.03 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.03 已发布,该版本更新内容如下: FUSE mount 通过预取提高大文件读取性能,避免重复读取并修复缓存错误。 Master 添加“resumeState”选项以避免在所有主机同时重新启动时出现瞬时状态丢失的情况。 S3 API 添加了object tagging GetObjectTagging PutObjectTagging DeleteObjectTagging 更新说明:https:/...

0
2
2020/10/03 07:55

SeaweedFS 2.02 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.02 已发布,该版本更新内容如下: Volume Server 删除 volumes 是避免死锁#1501 Filer 如果未指定,复制将使用主默认值 S3 Metrics 增加了 http 状态码#1502 更新说明:https://github.com/chrislusf/seaweedfs/releases/tag/2.02...

0
2
2020/09/22 07:08

SeaweedFS 2.00 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.00 已发布,该版本更新内容如下: HDFS 1.4.7 添加fs.seaweed.buffer.size选项。大大地提高了性能! Shell 添加 volumeServer.leave 命令 添加 volumeServer.evacuate 命令 S3 API Gateway 添加对 PostPolicy API 的支持 将指标发送到 Prometheus 网关。 适用于 Seaweed 的更新的 grafana 仪表板增加了 S3...

1
4
2020/09/16 07:00

SeaweedFS 1.99 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.99 已发布,该版本更新内容如下: Filer 修复 postgres 无法启动的问题#1465 修复了 mysql/postgres 会 insert 然后又立即更新同一记录的问题。 Volume Server 恢复 1.96 版本中引入的 "read deleted entry"功能。它在检查 .dat 文件完整性时引起了问题。 更新说明:https://github.com/chrislusf/seawee...

0
2
2020/09/12 07:17

SeaweedFS 1.95 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.95 已发布,该版本更新内容如下: Filer 跨数据中心 Active-Active 异步复制 ElasticSearch文件管理器存储添加了更多选项。#1455 Helm Charts 升级#1456 Shell volume.fix.replication 也会清除已复制的 volumes Bugs 关闭http响应以重用连接 正确取消 streaming grpc 的 context 更新说明:https://git...

1
6
2020/09/08 07:09

SeaweedFS 1.93 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.93 已发布,该版本更新内容如下: Filer Active-Active 或 Active-Passive 文件存储复制 新的 ElasticSearch 后端作为文件存储 #1446 #1449 GRPC API 支持前缀查询 #1431 Volume Server 压缩前检查磁盘空间 #1440 FUSE Mount 在 local OS 和 filer 之间映射用户ID和组ID。 更新说明:https://github.com/ch...

0
3
2020/09/02 07:23

SeaweedFS 1.92 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.92 已发布,该版本更新内容如下: Filer 确保 HTTP 连接重用。 S3 避免可能的 completeMultipartUpload 重试,以免覆盖上传的内容。 List bucket 权限由 admin 改为 read #1430。 Volume Server 对状态处理程序的匿名读取访问。 添加选项 preStopSeconds 以在 shutdown 之前耗尽 volume server traffic#1...

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/06/29 10:49

seaweedFS

那首先我们来分析一下seaweedfs是什么?seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目。它是用来存储文件的系统,并且与使用的语言无关,使得文件储存在云端变得非常方便。seaweedfs也是一个非常优秀的开源项目,Seaweedfs的设计原理是基于 Facebook 的一篇图片存储系统的论文Facebook-Haystack。一听就感觉作者很NB,有兴趣的可以去看一看Seaweedfs的源码,本文就讲解seaweedfs的搭建和简单应用。 seaweedfs的...

0
6
发表了博客
2019/04/24 18:54

seaweedfs

最新版本:https://github.com/chrislusf/seaweedfs/releases wiki:https://github.com/chrislusf/seaweedfs/wiki 优秀讲解:https://tonybai.com/2015/08/22/intro-of-using-weedfs/ ./weed master > weed volume -dir="/tmp/data1" -max=5 -mserver="localhost:9333" -port=8080 & > weed volume -dir="/tmp/data2" -max=10 -mserver="localhost:9333" -port=8081 & > curl http://localhost:9333/dir/assign {"count":1,"f...

0
0
发表于软件架构专区
2018/05/30 10:14

Docker seaweedfs

关于seaweedfs的介绍我就不在此文赘述,本文的主要目的是讲述我在docker中运行seaweedfs遇到的一些问题。 这是我搜集的一些关于SeaWeedFS的资料 ps.不管是在物理机还是docker之中运行seaweedfs,建议为volume开放publicUrl,且该url最好为域名形式,通过nginx或者apache进行端口转发。 Docker SeaWeedFS的使用 方式1:自定义 【Docker】seaweedfs的搭建与使用 https://blog.csdn.net/ns2250225/article/details/69568243 如果自...

0
4
发表于AI & 大数据专区
2017/10/21 03:02

seaweedfs-02

源码目录结构 核心模块 weed 入口目录 weed/weed_server 入口目录与HTTP服务相关 topology 核心模块,主要包括 【DataCenter, Rack, DataNode】 三层拓扑结构。 storage 核心模块,主要包括【Store, Volume, Needle】这三大块存储相关的源码。 辅助模块 sequence 负责FileID的全局有序生成 filer 提供支持 HTTP REST 操作的文件服务器,其实就是基于 leveldb 把文件名和目录结构存储起来。 stats 和操作系统内存和磁盘使用状况有...

0
0
发表了博客
2018/04/18 17:21

seaweedfs

1. 部署 start.cmd start /b weed.exe -log_dir=./log/master1/ master -ip=127.0.0.1 -port=19333 -peers=127.0.0.1:19333 -defaultReplication=001 -mdir=./data/master1/ & start /b weed.exe -log_dir=./data/volume1/ volume -ip=127.0.0.1 -port=28081 -mserver=127.0.0.1:19333 -idleTimeout=550 -dir=./data/volume1/ -dataCenter=dc1 -rack=rack1 -max=200 & start /b weed.exe -log_dir=./log/master2/ master -ip=1...

0
0
发表了博客
2017/10/20 15:51

SeaweedFS---01

seaweedfs中的名词: master: 存储文件和fid映射关系 volumn:实际存储文件 datacenter: 数据中心 rack: 机架。一个机架属于特定的数据中心,一个数据中心可以包含多个机架。 collection: 一组volume的集合。如果在存储文件的时候没有指定collection,那么使用默认的"" weed-fs提供了若干种replication策略(rack – 机架,一个逻辑上的概念): 000 no replication, just one copy 001 replicate once on the same rack 010 repl...

0
0
发表了博客
2018/06/21 23:04

seaweedfs使用记录

搭建seaweedfs 在github上面clone,然后cd到docker目录使用docker-compose up -d就可以启动seaweedfs 启动以后通过xxx:9333可以看到效果 上传单个文件的python代码: import requests url = "http://172.18.9.155" with open("cat.jpg","rb") as file: post_res = requests.post(url + ":9333/dir/assign").json()['fid'] print(post_res) input_path = url + ":8080/" + post_res put_res = requests.put(input_path,files = {...

0
0
发表了博客
2018/06/30 16:37

seaweedfs代码详解

在seaweedfs分布式文件系统中,删除文件时,deleteNeedle会做三件事情,如下图 第一个删除kv数据库中的索引信息,第二件是,在索引文件的尾部添加删除的信息,对索引文件中原来存储的信息,并不删除。第三件是删除datafile文件中的数据 ,但是并没有真正的删除数据,在datafile文件尾部,写了一个包含needle head的数据,但是并不包含needel中的数据,needlehead包括分配的needleid,以及needle的cookie和校验数据。seaweedfs在...

0
0
发表了博客
2018/01/10 10:36

Seaweedfs-启动脚本

#!/bin/bash if [ ! -e /sunlight/shell/main.sh ];then   echo " [ Error ] file /sunlight/shell/main.sh does not exist!"   exit 1 fi if [ ! -e /usr/local/sunlight/weed ];then   echo " [ Error ] /usr/local/sunlight/weed does not exist!"   exit 1 fi chmod +x /usr/local/sunlight/weed source /sunlight/shell/main.sh send_info "pkill all weed processes......" pkill -9 /usr/local/sunlight/weed s...

0
0
2019/01/26 09:19

SeaweedFS在.net core下的实践方案

一直对分布式的文件储存系统很感兴趣,最开始关注淘宝的TFS(Taobao File System),好像搁浅了,官方地址无法访问,github上面,各种编译问题,无意间发现了SeaweedFS 链接seaweedfs 测试了一番,写个应用的文章和.net core实践的短文分享一下 SeaweedFS如何使用 SeaweedFS的Releases下面下载成品,1.20(主要原因是懒,不想去编译) 运行命令 weed master 再挂载两个分布的服务 weed volume -dir="D:/FileService/Volume/1" -...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
5 评论
226 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部