Alluxio 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Alluxio 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开发厂商
地区 不详
提 交 者 武当王也
适用人群 未知
收录时间 2014-09-15

软件简介

Alluxio(之前名为Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外,Alluxio的以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。

在大数据生态系统中,Alluxio介于计算框架(如Apache Spark,Apache MapReduce,Apache HBase,Apache Hive,Apache Flink)和现有的存储系统(如Amazon S3,Google Cloud Storage, OpenStack Swift,GlusterFS,HDFS,MaprFS,Ceph,NFS,OSS)之间。 Alluxio为大数据软件栈带来了显著的性能提升。例如,百度采用Alluxio使他们数据分析流水线的吞吐量提升了30倍。 巴克莱银行使用Alluxio将他们的作业分析的耗时从小时级降到秒级。 去哪儿网基于Alluxio进行实时数据分析。 除性能外,Alluxio为新型大数据应用作用于传统存储系统的数据建立了桥梁。 用户可以以 独立集群模式,在例如 Amazon EC2, Google Compute Engine运行Alluxio, 或者用 Apache Mesos或 Apache Yarn安装Alluxio。

Alluxio与Hadoop是兼容的。现有的数据分析应用,如Spark和MapReduce程序,可以不修改代码直接在Alluxio上运行。Alluxio是一个已在多家公司部署的开源项目(Apache License 2.0)。 Alluxio是发展最快的开源大数据项目之一。自2013年4月开源以来,已有超过200个组织机构的900多贡献者参与到Alluxio的开发中。包括 阿里巴巴, Alluxio, 百度, 卡内基梅隆大学,Google,IBM,Intel, 南京大学, Red Hat,UC Berkeley和 Yahoo。Alluxio处于伯克利数据分析栈 (BDAS)的存储层,也是 Fedora发行版的一部分。 到今天为止,Alluxio已经在超过100家公司的生产中进行了部署,并且在超过1000个节点的集群上运行着。

Alluxio大数据存储系统的功能简介总结如下:

  • 灵活的文件API: Alluxio的本地API类似于java.io.File类,提供了 InputStream和OutputStream的接口和对内存映射I/O的高效支持。我们推荐使用这套API以获得Alluxio的完整功能以及最佳性能。
  • 兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。
  • 可插拔的底层存储: Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层存储系统。目前Alluxio支持Microsoft Azure Blob Store,Amazon S3,Google Cloud Storage,OpenStack Swift,GlusterFS, HDFS,MaprFS,Ceph,NFS,Alibaba OSS,Minio以及单节点本地文件系统,后续也会支持更多其他存储系统。
  • Alluxio层级存储: Alluxio可以管理内存和本地存储如SSD和HDD,以加速数据访问。如果需要更细粒度的控制,分层存储功能可以用于自动化管理不同层之间的数据,确保热数据在更快的存储层上。自定义策略可以方便地应用到Alluxio,而且pin(钉住)的概念允许用户显式地控制数据的存放位置。
  • 统一命名空间: Alluxio可以通过挂载功能实现不同存储系统之间的高效数据管理。并且,透明命名机制在持久化存储对象到底层存储系统时可以保留存储对象的文件名和目录层次结构。
  • Web UI: 用户可以通过Web UI浏览文件系统。在调试模式下,管理员还可以查看每一个文件的详细信息,包括存放位置,检查点路径等。
  • 命令行: 用户也可以通过./bin/alluxio fs与Alluxio交互,例如:实现将数据从文件系统拷入拷出。

Alluxio 架构:

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (4)

加载中
打分: 推荐
使用rest api怎么拼查询语句,如exists怎么用
2018/06/27 10:45
回复
举报
Alluxio 怎么读? #Alluxio#
2016/03/10 21:51
回复
举报
Or..撸..克噻奥 #Alluxio#
2016/06/01 09:49
回复
举报
#Alluxio#
2016/07/13 13:21
回复
举报
更多评论
发表了资讯
2017/01/16 11:00

Alluxio 1.4.0 发布,分布式存储系统

Alluxio 1.4.0 发布了,Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓 存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件...

2
22
发表了资讯
2016/10/30 00:00

从开源到商业,Alluxio 是怎么做的?

Alluxio,原名Tachyon,在早些时候获得了硅谷风投Andreessen Horowitz 750万美元的A轮投资。现在,该公司正在推出第一个基于其开源的以存储为中心的分布式存储系统的商业产品。 Alluxio旨在解决的问题是,大多数企业每天都在创建大量的数据,他们经常将它们存储在一些存储系统和云上。为了从这些数据中获得价值,他们必须...

1
10
发表了资讯
2016/07/24 00:00

Alluxio 1.2.0 发布,提升集成对象存储可用性

Alluxio 1.2.0 发布了,Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓 存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件...

1
10
发表了资讯
2016/07/08 00:00

Alluxio 1.1.1 发布,分布式文件系统

Alluxio 1.1.1 发布了,更新如下: ALLUXIO-2022 - Fix to prevent potential memory leak in remote read. ALLUXIO-2039 - Fix to mount a Swift directory that has not been created through Alluxio. ALLUXIO-2047 - Fix to enable surfacing directories in ALluxio that are not created through Alluxio in under...

5
29
发表了资讯
2016/06/12 00:00

Alluxio 1.1.0 发布,分布式文件系统

Alluxio 1.1.0 发布了,Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓 存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件...

4
57
发表了资讯
2016/04/30 00:00

Alluxio 1.0.1 发布,原名 Tachyon

Alluxio 1.0.1 发布了,Alluxio 原名 tachyon。 Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓 存文件,并且让不同的 Jobs/Queries以及框架都能内...

0
31
发表了资讯
2016/03/10 00:00

Tachyon 已支持阿里云 OSS,正式改名 Alluxio

近日,人气很火的开源分布式虚拟存储系统 Tachyon 正式更名为 Alluxio,并发布了1.0版本。新的版本新增支持任意存储系统如阿里云对象存储 OSS、Amazon S3、OpenStack Swift 等。 据阿里云高级技术专家罗李介绍,阿里云为 Alluxio 社区提供了基于对象存储 OSS 的 UnderFileSystem 的支持,让存储在 Alluxio 内存文件系统中...

7
54
发表了资讯
2015/03/19 00:00

A16Z 750万美元投资分布式文件系统 Tachyon

据 WSJ消息,Tachyon日前获得了硅谷风投 A16Z 750 万美元 A 轮投资。A16Z 的普通合伙人 Peter Levine 加入 Tachyon 董事会。 根据该项目官网的介绍,Tachyon 是一个以内存为中心的分布式文件系统,能够为集群框架(如 Spark、MapReduce)提供可靠的内存级速度的文件共享服务,具有类 Java 的文件 API、兼容 Hadoop MapRe...

3
26
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2015/10/15 17:40

Tachyon 概述(译)

本地运行Tachyon,,,原文地址:http://www.tachyon-project.org/documentation/index.html ,水平有限,翻译有误处,请指正。

0
4
发表于云计算专区
2015/12/11 14:54

Tachyon简要调研日志

一 前言 Tachyon是一种基于内存的分布式存储系统,它可以使数据在诸如Spark和MapReduce这样的集群框架中以内存级速度进行可靠的传输。通过利用lineage information和积极的使用内存系统,Tachyon表现了极佳的性能。Tachyon将工作文件集缓存在内存中,从而避免了因频繁读操作而需去硬盘中载入数据的流程。这一特性使得不同...

0
0
2015/10/19 16:58

本地运行Tachyon(译)

本地运行Tachyon,,,原文地址:http://www.tachyon-project.org/documentation/Running-Tachyon-Locally.html 如译文有误,请请拍砖指出。谢谢

0
0
2015/10/19 17:11

整合 Tachyon 运行 Spark(译)

整合 Tachyon运行Spark,原文地址:http://www.tachyon-project.org/documentation/Running-Spark-on-Tachyon.html 如译文有误,请指正。

0
0
发表于开发技能专区
2015/10/20 11:14

整合 Tachyon 运行Shark(译)

整合 Tachyon 运行Shark,原文地址:http://www.tachyon-project.org/documentation/Running-Shark-on-Tachyon.html 如译文有误,请指正。

0
0
发表于云计算专区
2015/09/22 15:15

tachyon与hdfs,以及spark整合

Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spark 1.5.x兼容,目前所用的Spark为1.4.1,tachyon为 0.7.1 tachyon 与 hdfs整合 修改tachyon-env.sh export TACHYON_UNDERFS_ADD...

0
0
发表于软件架构专区
2015/10/19 17:16

集群中运行Tachyon(译)

集群中运行Tachyon,原文地址:http://www.tachyon-project.org/documentation/Running-Tachyon-on-a-Cluster.html 如译文有误,请指正。

0
0
发表于开发技能专区
2015/10/20 10:41

集群中运行Tachyon(译)

集群中运行Tachyon,原文地址:http://www.tachyonproject.org/documentation/Running-Tachyon-on-a-Cluster.html 如译文有误,请指正。

0
0
发表于云计算专区
2015/02/11 22:23

分布式内存文件系统:Tachyon

Tachyon是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。

3
22
发表了博客
2015/03/21 15:11

Tachyon简介及目前可用性分析

“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。因此,Tachyon可以减少那些需要经常使用的...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2015/05/25 00:07

导入tachyon项目时,其中有个依赖包找不到哦

[INFO] >>> maven-eclipse-plugin:2.9:eclipse (default-cli) > generate-resources @ tachyon-underfs-local >>> Downloading: https://oss.sonatype.org/content/repositories/snapshots/org/tachyon project/tachyon-common/0.7.0-SNAPSHOT/maven-metadata.xml Downloading: https://oss.sonatype.org/content/reposi...

1
0
发表了问答
2015/06/08 16:02

竟然没有人用tachyon?

我觉得是个很好的东东啊,为什么没有人用tachyon?

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
4 评论
415 收藏
分享
返回顶部
顶部