软件简介

为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid 。

Fluid 是一款开源的云原生基础架构项目。在计算和存储分离的大背景驱动下,Fluid 的目标是为 AI 与大数据云原生应用提供一层高效便捷的数据抽象,将数据从存储抽象出来,以便达到:

  • 通过数据亲和性调度分布式缓存引擎加速,实现数据和计算之间的融合,从而加速计算对数据的访问;

  • 将数据独立于存储进行管理,并且通过Kubernetes的命名空间进行资源隔离,实现数据的安全隔离;

  • 将来自不同存储的数据联合起来进行运算,从而有机会打破不同存储的差异性带来的数据孤岛效应。

通过 Kubernetes 服务提供的数据层抽象,可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源和 Kubernetes 上层云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。而具体数据操作对用户透明,用户不必再担心访问远端数据的效率、管理数据源的便捷性,以及如何帮助 Kuberntes 做出运维调度决策等问题。用户只需以最自然的 Kubernetes 原生数据卷方式直接访问抽象出来的数据,剩余任务和底层细节全部交给 Fluid 处理。

Fluid 项目当前主要关注数据集编排和应用编排这两个重要场景。数据集编排可以将指定数据集的数据缓存到指定特性的 Kubernetes 节点;而应用编排将指定该应用调度到可以或已经存储了指定数据集的节点上。这两者还可以组合形成协同编排场景,即协同考虑数据集和应用需求进行节点资源调度。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
08/18 18:43

Fluid 0.6 版本发布:数据感知的 Pod 调度与数据集自动弹性扩缩容

作者 | 顾荣 Fluid开源社区主席 南京大学PASALab Fluid 是 CNCF 基金会旗下云原生环境中数据密集型应用的高效支撑平台,由南京大学、阿里云云原生团队以及 Alluxio 开源社区联合发起。项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注,在大家的积极反馈下社区不断演进。近期 Fluid 0.6 版本正式发布,在该版本中,Fluid 主要新增改善以下三个方面内容: 数据感知的Pod调度,支持数据与应用协同调度,加强生态融合,...

0
3
发表了资讯
05/11 14:31

Fluid 进入 CNCF Sandbox,加速大数据和 AI 应用拥抱云原生

2021 年 4 月 27 日,云原生计算基金会(CNCF)宣布通过全球 TOC 投票接纳 Fluid 成为 CNCF 官方沙箱项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联合发起并开源的云原生数据编排和加速系统。 Fluid 项目地址:https://github.com/fluid-cloudnative/fluid 项目介绍 云原生环境下,计算存储分离架构在提升系统弹性和灵活性的同时,给大数据 / AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。现有云原生...

0
5
2020/11/18 10:26

Fluid 0.4 新版本正式发布:支持数据预热,优化小文件场景

作者 | 顾荣 Photo Creidt @ 轻零 导读:为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid。 近期 Fluid 0.4 版本正式发布,主要新增了以下四项重要功能,分别是: 通过 DataLoad 自定义资源,提供简单易用且可定制的数据预热能力 增强海量小文件数据集的支撑能力,扩...

0
11
发表于AI & 大数据专区
2020/10/17 15:19

Fluid 0.3 新版本正式发布:实现云原生场景通用化数据加速

Fluid 是云原生环境下数据密集型应用的高效支撑平台。近期 Fluid 0.3 版本正式发布,主要新增了三项重要功能,分别是: 实现通用数据存储加速,提供 Kubernetes 数据卷访问加速功能 加强数据访问安全保护,提供面向数据集的细粒度权限控制功能 简化用户复杂参数配置,提供原生化系统内部参数配置优化功能 详细更新信息: 一、支持 Kubernetes 数据卷访问加速 尽管之前版本的 Fluid 已经支持诸多底层存储系统(如 HDFS、OSS 等)...

0
5
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于大前端专区
2019/08/25 18:30

Authing 和 云原生应用(CloudNative)

## CloudNative 云原生应用是 Matt Stine 提出的一个概念,出现在其 Migrate to cloud Native App Architectures 一书中。 ![](https://oscimg.oschina.net/oscnet/ba62c4aa78d1ed4df3170eaf25368b88eda.jpg) CloudNative 是一个思想的集合,包括 DevOps、持续交付(Continuous Delivery)、微服务(MicroServices)、敏捷基础设施(Agile Infrastructure)、康威定律(Conways Law)等,以及根据商业能力对公司进行重组。Cloud...

0
0
发表于服务端专区
2013/05/23 16:53

Fluid Querying with Casbah's DSL

Casbah 通过使用MongoDB查询运算符来创建MongoDBObject,提供了更丰富的查询手段。但不得不说地是,文档的确做不好。要想知道那些运算符可以使用,直接看Casbah的jar包可能还能方便点: com.mongodb.casbah.query.dsl 在使用中需要特别说明的,和以前使用sql一个不一样的地方。比如SQL查询“select name from people where age >18 and age <60”相应的DSL是 (“age”$ge 18 $le 60)。而不能在构造DBObject时写成: val q = (“...

0
1
2019/03/08 11:26

问题:如何移植v2模型到fluid?

问题描述:deep fm从paddlepaddle v2 版模型https://github.com/PaddlePaddle/models/tree/develop/legacy/deep_fm移植到fluid。但是我找不到移植指导文档。特别是v2中的数据类型如何对应到fluid中:paddle.data_type.dense_vector,paddle.data_type.sparse_binary_vector,paddle.data_type.integer_value 问题解答: 1.layers.data只需要指定lod_level即可,dense_vector, interge_value默认都可以不用制定lod_level 2.reade...

0
0
2019/03/07 10:50

Fluid版本如何自定义模型权重?

问题描述:Fluid版本的PaddlePaddle如何自定义模型的权重?想要实现:x = MW + b,其中M是一个m * n的矩阵数据,W(n * 1)、b (m * 1)是自定义的权重。 问题分析: 在Fluid版本中自定义权重可以通过fluid.param_attr.ParamAttr()方法的initializer参数实现,本地就是将自定义的值赋值给该节点,实现自定义模型权重的目的。 解决方法: 自定义权重的实例代码如下: import paddle.fluid as fluid import paddle import numpy as...

0
0
2019/03/08 11:24

Fluid中使用Inferencer出现错误

问题描述:使用Fluid版本的PaddlePaddle编写一个简单的结构时,训练没有问题,但在进行Inferencer预测操作时,报DataType of Paddle Op mul must be the same错误,我检查了自己的数据预测操作,确认了数据类型与数据结构都与Inferencer预测网络中输入层定义的数据类型与结构一致,但依旧报错 报错输出: Traceback (most recent call last): File "/Users/jizhi/Desktop/Paddle/Paddlecode/code1.py", line 119, in <module>...

0
0
2019/03/06 11:13

fluid 如何获取特定层的参数

问题描述:在训练好一个模型之后,想打印模型的参数类似TF里面,w = session.run([fc1.W]) 然后直接获取到了第一层FClayer的W矩阵,fluid有类似的接口吗? 报错输出: Traceback (most recent call last): File "test.py", line 12, in <module> ret = scope.find_var("target_fc").get_tensor() AttributeError: 'NoneType' object has no attribute 'get_tensor' 问题复现: import paddle.fluid as fluid from paddle...

0
0
2019/03/07 10:52

Fluid如何实现异步加载数据?

问题描述:Fluid是否支持异步加载数据?如果支持,如何实现? 问题分析:Fluid是支持异步加载数据的,使用fluid.layers.py_reader()方法即可实现数据的异步加载 解决方法: import paddle.fluid as fluid train_py_reader = fluid.layers.py_reader(capacity=64, shapes=[(-1,3,224,224), (-1,1)], dtypes=['float32', 'int64'], ...

0
0
2019/03/06 11:10

使用Fluid编写机器翻译模型,报错

问题描述:使用Fluid编写机器翻译模型,报错 报错输出: Traceback (most recent call last): File "train.py", line 173, in <module> train() File "train.py", line 63, in train max_length=args.max_length) File "/Users/jizhi/Desktop/Paddle/models/fluid/PaddleNLP/neural_machine_translation/rnn_search/attention_model.py", line 81, in seq_to_seq_net input_seq=src_embedding, gate_size=enc...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
11 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部