Fluid-Cloudnative 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Fluid-Cloudnative 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Fluid-Cloudnative 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache 2.0
开发语言 Google Go 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据存储
开源组织 阿里巴巴
地区 国产
投 递 者 大东BE
适用人群 未知
收录时间 2020-10-17

软件简介

为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid 。

Fluid 是一款开源的云原生基础架构项目。在计算和存储分离的大背景驱动下,Fluid 的目标是为 AI 与大数据云原生应用提供一层高效便捷的数据抽象,将数据从存储抽象出来,以便达到:

  • 通过数据亲和性调度分布式缓存引擎加速,实现数据和计算之间的融合,从而加速计算对数据的访问;

  • 将数据独立于存储进行管理,并且通过Kubernetes的命名空间进行资源隔离,实现数据的安全隔离;

  • 将来自不同存储的数据联合起来进行运算,从而有机会打破不同存储的差异性带来的数据孤岛效应。

通过 Kubernetes 服务提供的数据层抽象,可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源和 Kubernetes 上层云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。而具体数据操作对用户透明,用户不必再担心访问远端数据的效率、管理数据源的便捷性,以及如何帮助 Kuberntes 做出运维调度决策等问题。用户只需以最自然的 Kubernetes 原生数据卷方式直接访问抽象出来的数据,剩余任务和底层细节全部交给 Fluid 处理。

Fluid 项目当前主要关注数据集编排和应用编排这两个重要场景。数据集编排可以将指定数据集的数据缓存到指定特性的 Kubernetes 节点;而应用编排将指定该应用调度到可以或已经存储了指定数据集的节点上。这两者还可以组合形成协同编排场景,即协同考虑数据集和应用需求进行节点资源调度。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
2021/08/18 18:43

Fluid 0.6 版本发布:数据感知的 Pod 调度与数据集自动弹性扩缩容

作者 | 顾荣 Fluid开源社区主席 南京大学PASALab Fluid 是 CNCF 基金会旗下云原生环境中数据密集型应用的高效支撑平台,由南京大学、阿里云云原生团队以及 Alluxio 开源社区联合发起。项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注,在大家的积极反馈下社区不断演进。近期 Fluid 0.6 版本正式发布,在该版本中,Fluid 主要新增改善以下三个方面内容: 数据感知的Pod调度,支持数据与应用协同调度,加强生态融合,...

0
3
发表了资讯
2021/05/11 14:31

Fluid 进入 CNCF Sandbox,加速大数据和 AI 应用拥抱云原生

2021 年 4 月 27 日,云原生计算基金会(CNCF)宣布通过全球 TOC 投票接纳 Fluid 成为 CNCF 官方沙箱项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联合发起并开源的云原生数据编排和加速系统。 Fluid 项目地址:https://github.com/fluid-cloudnative/fluid 项目介绍 云原生环境下,计算存储分离架构在提升系统弹性和灵活性的同时,给大数据 / AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。现有云原生...

0
5
2020/11/18 10:26

Fluid 0.4 新版本正式发布:支持数据预热,优化小文件场景

作者 | 顾荣 Photo Creidt @ 轻零 导读:为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid。 近期 Fluid 0.4 版本正式发布,主要新增了以下四项重要功能,分别是: 通过 DataLoad 自定义资源,提供简单易用且可定制的数据预热能力 增强海量小文件数据集的支撑能力,扩...

0
11
发表于AI & 大数据专区
2020/10/17 15:19

Fluid 0.3 新版本正式发布:实现云原生场景通用化数据加速

Fluid 是云原生环境下数据密集型应用的高效支撑平台。近期 Fluid 0.3 版本正式发布,主要新增了三项重要功能,分别是: 实现通用数据存储加速,提供 Kubernetes 数据卷访问加速功能 加强数据访问安全保护,提供面向数据集的细粒度权限控制功能 简化用户复杂参数配置,提供原生化系统内部参数配置优化功能 详细更新信息: 一、支持 Kubernetes 数据卷访问加速 尽管之前版本的 Fluid 已经支持诸多底层存储系统(如 HDFS、OSS 等)...

0
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Apache Log4j 信任管理问题漏洞
证书验证不恰当
Apache Log4j是美国阿帕奇(Apache)基金会的一款基于Java的开源日志记录工具。 Apache Log4j中存在信任管理问题漏洞,该漏洞源于SmtpAppender没有验证主机名称与SMTPS连接的SSL/TLS证书是否匹配。攻击者可通过实施中间人攻击利用该漏洞拦截SMTPS连接,获取日志消息。
CVE-2020-9488 MPS-2020-6684
2022-08-08 18:22
Apache Commons Compress 无限循环漏洞
不可达退出条件的循环(无限循环)
Apache Commons Compress是美国阿帕奇(Apache)基金会的一个用于处理压缩文件的库。 Apache Commons Compress存在安全漏洞,该漏洞源于当读取一个特殊制作的7Z归档文件时,构造解码器列表来解压缩条目可能会导致无限循环。
CVE-2021-35515 MPS-2021-10565
2022-08-08 18:22
Apache Log4j 安全漏洞
当攻击者对 Log4j 配置具有写访问权限时,Log4j 1.2 中的 JMSAppender 容易受到不受信任数据的反序列化。攻击者可以提供 TopicBindingName 和 TopicConnectionFactoryBindingName 配置,导致 JMSAppender 执行 JNDI 请求,从而以类似于 CVE-2021-44228 的方式执行远程代码。请注意,此问题仅在专门配置为使用 JMSAppender(不是默认设置)时影响 Log4j 1.2。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2021-4104 MPS-2021-38359
2022-08-08 18:22
Apache Log4j 安全漏洞
Apache Log4j是Apache的一款基于Java的开源日志记录工具。 该工具的漏洞版本由于不能防止不受控制的递归而自引用查找。这允许控制线程上下文映射数据的攻击者在解释精心制作的字符串时导致拒绝服务。
CVE-2021-45105 MPS-2021-38752
2022-08-08 18:22
Apache Log4j 代码问题漏洞
反序列化
Log4j是美国阿帕奇(Apache)软件基金会的一款基于Java的开源日志记录工具。Log4j 1.2版本中包含一个SocketServer类,在未经验证的情况下,该SocketServe类很容易接受序列化的日志事件并对其进行反序列化,在结合反序列化工具使用时,可以利用该类远程执行任意代码。
CVE-2019-17571 MPS-2019-17271
2022-08-08 18:22
Apache Log4j2 远程代码执行漏洞
反序列化
Apache log4j是java中常用的日志记录组件。 由于log4j2默认支持JNDI在内的Lookup查找机制,当日志内容中包含${foo.bar}样式的内容时,会查找相应的值进行替换。因此当用户请求中的内容通过log4j作为日志内容记录时,攻击者可能通过恶意构造的内容,触发log4j的lookup方法,进而执行恶意代码。
CVE-2021-44228 MPS-2021-38241
2022-08-08 18:22
Apache Log4j 代码问题漏洞
反序列化
Apache Log4j是Apache基金会的一款基于Java的开源日志记录工具。 在Apache Log4j 2.15.0中解决CVE-2021-44228的修复在某些非默认配置中不完整:当日志配置使用具有上下文查找或线程上下文映射模式时,攻击者可以使用 JNDI 查找模式制作恶意输入数据,从而导致信息泄漏和某些环境中的远程代码执行以及所有环境中的本地代码执行。
CVE-2021-45046 MPS-2021-38665
2022-08-08 18:22
Apache Log4j 代码问题漏洞
反序列化
CVE-2020-9493 发现了 Apache Chainsaw 中存在的反序列化问题。在 Chainsaw V2.0 之前,Chainsaw 是 Apache Log4j 1.2.x 的一个组件,存在同样的问题。
CVE-2022-23307 MPS-2022-1445
2022-08-08 18:22
Eclipse Jetty 安全漏洞
在释放前未清除敏感信息
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 存在安全漏洞,该漏洞源于如果启用GZIP请求主体的通货膨胀和来自不同客户端的请求多路复用到一个连接, 攻击者可利用该漏洞可以发送一个请求接收到的身体完全但不被应用程序,然后后续请求在同一连接会发现身体返回它的body。以下产品及版本受到影响:9.4.0.RC0版本至9.4.34.v20201102版本, 10.0.0.alpha0版本至 10.0.0.beta2版本,11.0.0.alpha0版本 11.0.0.beta2版本。
CVE-2020-27218 MPS-2020-17594
2022-08-08 18:22
commons-codec:commons-codec 存在信息暴露漏洞
信息暴露
commons-codec:commons-codec 是一个包含各种格式(如 Base64 和 Hexadecimal)的简单编码器和解码器的包。此软件包的受影响版本容易受到信息泄露的影响。
MPS-2022-11853
2022-08-08 18:22
org.apache.hadoop:hadoop-hdfs 存在XXE漏洞
XXE
org.apache.hadoop:hadoop-hdfs 是一个框架,它允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。由于通过 OfflineEditsXmlLoader.java 工具对 XML 文件的不安全解析,此包的受影响版本容易受到 XML 外部实体注入 (XXE) 的攻击。
MPS-2022-12474
2022-08-08 18:22
Apache Log4j SQL注入漏洞
SQL注入
根据设计,Log4j 1.2.x 中的 JDBCAppender 接受 SQL 语句作为配置参数,其中要插入的值是来自 PatternLayout 的转换器。消息转换器 %m 可能总是包含在内。这允许攻击者通过将精心制作的字符串输入到记录的应用程序的输入字段或标题中来操纵 SQL,从而允许执行意外的 SQL 查询。请注意,此问题仅在专门配置为使用 JDBCAppender(不是默认设置)时才会影响 Log4j 1.x。从 2.0-beta8 版本开始,重新引入了 JDBCAppender,适当支持参数化 SQL 查询,并进一步自定义写入日志的列。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2022-23305 MPS-2022-1444
2022-08-08 18:22
netplex json-smart-v 代码问题漏洞
对因果或异常条件的不恰当检查
netplex json-smart是开源的一个JSON Java解析器。 netplex json-smart-v1 through 2015-10-23 and json-smart-v2 through 2.4 存在代码问题漏洞,该漏洞源于如果没有捕获到异常,它可能会导致使用该库的程序崩溃或暴露敏感信息。
CVE-2021-27568 MPS-2021-2102
2022-08-08 18:22
Eclipse Jetty 资源管理错误漏洞
对异常条件的处理不恰当
在 Eclipse Jetty 7.2.2 到 9.4.38、10.0.0.alpha0 到 10.0.1 和 11.0.0.alpha0 到 11.0.1 中,当接收到一个大的无效 TLS 帧时,CPU 使用率可以达到 100%。攻击者可利用此缺陷进行拒绝服务攻击。
CVE-2021-28165 MPS-2021-3864
2022-08-08 18:22
Eclipse Jetty 代码问题漏洞
不充分的会话过期机制
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty versions<= 9.4.40存在安全漏洞,该漏洞源于SessionListener抛出异常。
CVE-2021-34428 MPS-2021-8884
2022-08-08 18:22
Netty 环境问题漏洞
HTTP请求的解释不一致性(HTTP请求私运)
Netty是Netty社区的一款非阻塞I/O客户端-服务器框架,它主要用于开发Java网络应用程序,如协议服务器和客户端等。 Netty 4.1.42.Final之前版本中存在安全漏洞。攻击者可利用该漏洞实施HTTP请求走私攻击。
CVE-2019-16869 MPS-2019-12064
2022-08-08 18:22
jackson-mapper-asl 代码问题漏洞
XXE
jackson-mapper-asl是一款基于Jackson JSON处理器构建的数据映射软件包。 jackson-mapper-asl 1.9.x版本中存在代码问题漏洞。远程攻击者可借助特制数据利用该漏洞获取敏感信息。
CVE-2019-10172 MPS-2019-15048
2022-08-08 18:22
Apache Log4j 安全漏洞
Apache Log4j是美国阿帕奇(Apache)基金会的一款基于Java的开源日志记录工具。当配置使用带有 JNDI LDAP数据源URI的JDBC Appender时,导致使用者容易受到远程代码执行 (RCE) 攻击,从而攻击者会控制目标 LDAP 服务器。
CVE-2021-44832 MPS-2021-38327
2022-08-08 18:22
Eclipse Jetty 输入验证不恰当漏洞
输入验证不恰当
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 存在安全漏洞,该漏洞源于无效的 URI 解析可能会产生无效的 HttpURI.authority。攻击者利用此漏洞会导致Proxy scenario失败。
CVE-2022-2047 MPS-2022-18060
2022-08-08 18:22
Eclipse Jetty访问控制错误漏洞
权限、特权和访问控制
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 存在安全漏洞,该漏洞源于系统的临时目录在该系统上的所有用户之间共享。并置用户可以观察在共享临时目录中创建临时子目录的过程,并争着完成临时子目录的创建。攻击者可利用该漏洞拥有对用于解压缩web应用程序的子目录的读写权限,包括它们的web - inf lib jar文件和JSP文件。
CVE-2020-27216 MPS-2020-15633
2022-08-08 18:22
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
10 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部