【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”
文件系统是计算机中一个非常重要的组件,为存储设备提供一致的访问和管理方式。在不同的操作系统中,文件系统会有一些差别,但也有一些共性几十年都没怎么变化:
- 数据是以文件的形式存在,提供 Open、Read、Write、Seek、Close 等API 进行访问;
- 文件以树形目录进行组织,提供原子的重命名(Rename)操作改变文件或者目录的位置。
文件系统提供的访问和管理方法支撑了绝大部分的计算机应用,Unix 的“万物皆文件”的理念更是凸显了它的重要地位。JuiceFS 是一款开源分布式文件系统,创新的将对象存储作为底层存储介质,实现了存储空间的无限扩展。任何存入 JuiceFS 的文件都会按照特定规则被拆分成固定大小的数据块保存在对象存储,数据块的元数据则保存在 Redis、MySQL 等数据库中。
OSCHINA 本期高手问答(1 月 5 日- 1 月 11 日)将以「分布式文件系统」为切入点展开讨论,「分布式文件系统的架构设计」、「分布式文件系统的特点」,除了上述范围,你也可以将讨论的内容外延到文件系统整个领域,包括文件系统的发展历程、未来展望、应用场景等等,还可以专注于开源的分布式文件系统 JuiceFS 的架构设计、实践等。
为此,我们邀请到了嘉宾@苏锐 @Juicedata 来和大家一起探讨分布式文件系统。
嘉宾简介
苏锐,JuiceFS 合伙人,作为1号成员参与创建 JuiceFS,先通过全球公有云上的 SaaS 产品获得国内外几十家商业客户,之后于 2021 年 1 月 JuiceFS 开源。
OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。
高手问答第 274 期 —— 聊聊分布式文件系统与 JuiceFS
@zzy00321 @乌龟壳 @crf1111 @Li_Peng @贺小皮蛋
@苏锐 不知道新的JuiceFS是依赖redis、mysql什么版本呢?如何考虑系统安全问题呢?
@苏锐 JuiceFS的对象存储相对传统的块存储分布式文件系统有啥优点?JuiceFS的存储现在是针对什么业务场景使用的?
@苏锐 老师您好 如果文件被拆分成固定大小的数据块,那这些数据块是怎么保证顺序的,以及数据库块的大小是固定的吗 会不会出现大量的内存碎片, 读取的时候是不是要占用大量内存进行合并数据库
@苏锐 您好,考虑到存取速度、修复难度以及迁移,对于底层文件系统的选择有什么推荐的吗?~
@苏锐 JuiceFS的跨节点、机架、机房、区域的副本放置策略,可用性程度,能不能简单讲讲
一致性协议的实现 以及涉及到 元数据管理,主丛切换的及时性和正确性
最后 就是 各种突发情况下 主从同步的策略,全面高效的负载均衡(空间/吞吐/副本)
@苏锐 老师好,JuiceFS是否提供开放Key-Value Storage的API接口,以及有哪些支持的程序设计语言?另外,对于有大量小文件写入的效率如何?谢谢,老师了。
@苏锐 对于大文件的拆分性能是如何
@苏锐 1.JuiceFS和 nas nfs存储有啥区别?JuiceFS 优势在哪里?
2.JuiceFS 使用了什么设计模式?