分布式文件系统 SeaweedFS

分布式文件系统 SeaweedFS

Apache
Google Go
跨平台
2015-10-28
叶秀兰

SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file 的映射,类似 "NoSQL",也可以说是 "NoFS"。

SeaweedFS 仅花费 40 字节的硬盘来存储每个文件的元数据。

基准测试基于 Mac Book,固态硬盘,CPU:1 Intel Core i7 2.6GHz。

编写 1 百万的 1KB 文件:

Concurrency Level:      16
Time taken for tests:   88.796 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106764659 bytes
Requests per second:    11808.87 [#/sec]
Transfer rate:          12172.05 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.2      1.3       44.8      0.9

Percentage of the requests served within a certain time (ms)
   50%      1.1 ms
   66%      1.3 ms
   75%      1.5 ms
   80%      1.7 ms
   90%      2.1 ms
   95%      2.6 ms
   98%      3.7 ms
   99%      4.6 ms
  100%     44.8 ms

自由读取 1 百万文件:

Concurrency Level:      16
Time taken for tests:   34.263 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106762945 bytes
Requests per second:    30603.34 [#/sec]
Transfer rate:          31544.49 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.0      0.5       20.7      0.7

Percentage of the requests served within a certain time (ms)
   50%      0.4 ms
   75%      0.5 ms
   95%      0.6 ms
   98%      0.8 ms
   99%      1.2 ms
  100%     20.7 ms
加载中

评论(1)

chuqq
chuqq
上传和下载文件时都是把文件的完整内容读入内存中,而且多个请求不共享内存,有多份文件内容的拷贝。感觉不像想象中的那么靠谱。https://github.com/chrislusf/seaweedfs/issues/211 #SeaweedFS#

SeaweedFS 1.15 发布,高可扩分布式文件系统

SeaweedFS 1.15 已发布,这是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应! 更新内容: weed filer, volume, HCFS 报告原始文件大小 Hadoop client ...

2018/12/28 07:49

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Docker seaweedfs

关于seaweedfs的介绍我就不在此文赘述,本文的主要目的是讲述我在docker中运行seaweedfs遇到的一些问题。 这是我搜集的一些关于SeaWeedFS的资料 ps.不管是在物理机还是docker之中运行seaweed...

2018/05/30 10:14
195
0
UEditor+nodejs+seaweedfs图片服务器搭建

参考链接: http://blog.coinidea.com/web%E5%BC%80%E5%8F%91/nodejs-1161.html 1. UEditor+nodejs图片上传 UEditor是百度开源的富文本编辑器,功能比较强大。 下载地址是:http://ueditor....

2018/08/29 14:58
47
0
seaweedfs-02

源码目录结构 核心模块 weed 入口目录 weed/weed_server 入口目录与HTTP服务相关 topology 核心模块,主要包括 【DataCenter, Rack, DataNode】 三层拓扑结构。 storage 核心模块,主要包括【...

2017/10/21 03:02
16
0
SeaweedFS---01

seaweedfs中的名词: master: 存储文件和fid映射关系 volumn:实际存储文件 datacenter: 数据中心 rack: 机架。一个机架属于特定的数据中心,一个数据中心可以包含多个机架。 collection: 一...

2017/10/20 15:51
9
0
openresty + lua-resty-weedfs + weedfs + graphicsmagick动态生成缩略图(类似淘宝方案)

openresty + lua-resty-weedfs + weedfs + graphicsmagick动态生成缩略图(类似淘宝方案) --大部分的网站都要涉及到图片缩略图的处理,比如新闻配图,电商,微信朋友圈等,贴别是电商类网站...

2016/12/28 11:02
69
0
weed fs 替代hadoop的小文件存储的优选方案

计费系统中需要用到大量的小文件存储,之前一直用的hadoop的hdfs存储。来讨论下hadoop为啥不适用现在的项目: 1.计费文件比较小,一般都是几十KB,最大也不过几MB. 用Hadoop,每个文件都会占...

2016/10/09 15:34
108
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部