分布式存储系统 Alluxio

分布式存储系统 Alluxio

Apache
Java
跨平台
2014-09-15
天台道人

Alluxio 原名 tachyon。

Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。

特性:

  • 类 Java 的文件 API

  • 兼容性:实现 Hadoop 文件系统接口

  • 可插入式的底层文件系统

  • 内建 Raw 原生表的支持

  • 基于 Web 的 UI

  • 提供命令行接口

Alluxio 架构:

与 HDFS 的比较:

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Alluxio。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。

AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库,那么你一定会喜欢Shark,因为它代表了“Hive on Spark”。

AMPLab的最新目标就是Hadoop分布式文件系统(HDFS),不过HDFS在可用性和速度方面一直受人诟病,所以AMPLab创建了Alluxio( 在High Scalability上非常夺目,引起了Derrick Harris的注意)。

当然,AMPLab并不是第一个对HDFS提出质疑的组织,同时也有很多商业版本可供选择,像Quantcast就自己开发了开源文件系统,声称其在运行大规模文件系统时速度更快、更高效。

诚然,AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状,那么就顺其自然吧!不过,对于用户来说,AMPLab只是为那些寻找合适工具的人员提供了一种新的选择,AMPLab的合作伙伴和赞助商包括谷歌,Facebook,微软和亚马逊网络服务,它们当然非常乐意看到这些新技术,如果很有必要的话。

AMPLab的其他项目包括PIQL,类似于一种基于键/值存储的SQL查询语言;MLBase,基于分布式系统的机器学习系统;Akaros,一个多核和大型SMP系统的操作系统;Sparrow,一个低延迟计算集群调度系统。

加载中

评论(4)

g
ggl_jj
使用rest api怎么拼查询语句,如exists怎么用
在哪里110
在哪里110
#Alluxio#
Da道之简
Da道之简
Or..撸..克噻奥 #Alluxio#
TavenLi
TavenLi
Alluxio 怎么读? #Alluxio#

Alluxio 1.4.0 发布,分布式存储系统

Alluxio 1.4.0 发布了,Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的...

2017/01/16 11:00

从开源到商业,Alluxio 是怎么做的?

Alluxio,原名Tachyon,在早些时候获得了硅谷风投Andreessen Horowitz 750万美元的A轮投资。现在,该公司正在推出第一个基于其开源的以存储为中心的分布式存储系统的商业产品。 Alluxio旨在解...

2016/10/30 07:37

Alluxio 1.2.0 发布,提升集成对象存储可用性

Alluxio 1.2.0 发布了,Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的...

2016/07/24 08:15

Alluxio 1.1.1 发布,分布式文件系统

Alluxio 1.1.1 发布了,更新如下: ALLUXIO-2022 - Fix to prevent potential memory leak in remote read. ALLUXIO-2039 - Fix to mount a Swift directory that has not been created thro...

2016/07/08 08:47

Alluxio 1.1.0 发布,分布式文件系统

Alluxio 1.1.0 发布了,Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的...

2016/06/12 13:40

Alluxio 1.0.1 发布,原名 Tachyon

Alluxio 1.0.1 发布了,Alluxio 原名 tachyon。 Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积...

2016/04/30 08:16

Tachyon 已支持阿里云 OSS,正式改名 Alluxio

近日,人气很火的开源分布式虚拟存储系统 Tachyon 正式更名为 Alluxio,并发布了1.0版本。新的版本新增支持任意存储系统如阿里云对象存储 OSS、Amazon S3、OpenStack Swift 等。 据阿里云高级...

2016/03/10 17:23

A16Z 750万美元投资分布式文件系统 Tachyon

据 WSJ消息,Tachyon日前获得了硅谷风投 A16Z 750 万美元 A 轮投资。A16Z 的普通合伙人 Peter Levine 加入 Tachyon 董事会。 根据该项目官网的介绍,Tachyon 是一个以内存为中心的分布式文件...

2015/03/19 07:39

没有更多内容

加载失败,请刷新页面

没有更多内容

1
回答
导入tachyon项目时,其中有个依赖包找不到哦

[INFO] >>> maven-eclipse-plugin:2.9:eclipse (default-cli) > generate-resource...

2015/05/25 00:07
1
回答
竟然没有人用tachyon?

我觉得是个很好的东东啊,为什么没有人用tachyon?

2015/06/08 16:02

没有更多内容

加载失败,请刷新页面

没有更多内容

Running Hadoop MapReduce on Tachyon

This guide describes how to get Tachyon running with Hadoop MapReduce, so that you can easily use your MapReduce programs with files stored on Tachyon....

2015/04/08 17:42
36
0
分布式内存文件系统Tachyon介绍

随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理,或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。近年来,内存的吞吐量成指数倍...

2016/02/16 11:42
320
1
整合 Tachyon 运行 Spark(译)

整合 Tachyon运行Spark,原文地址:http://www.tachyon-project.org/documentation/Running-Spark-on-Tachyon.html 如译文有误,请指正。...

2015/10/19 17:11
603
0
Tachyon:Spark生态系统中的分布式内存文件系统

摘要:Tachyon把内存存储的功能从Spark中分离出来, 使Spark可以更专注计算的本身, 以求通过更细的分工达到更高的执行效率。

2015/07/07 09:58
278
0
整合 Tachyon 运行Shark(译)

整合 Tachyon 运行Shark,原文地址:http://www.tachyon-project.org/documentation/Running-Shark-on-Tachyon.html 如译文有误,请指正。...

2015/10/20 11:14
40
0
整合 Tachyon 运行 Hadoop MapReduce(译)

整合 Tachyon 运行 Hadoop MapReduce(译),原文地址:http://www.tachyon-project.org/documentation/Running-Hadoop-MapReduce-on-Tachyon.html 如译文有误,请指正。...

2015/10/20 15:47
291
0
tachyon与hdfs,以及spark整合

Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spa...

2015/09/22 15:15
64
0
Tachyon 0.7.1伪分布式集群安装与测试

Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件...

2015/09/10 18:49
211
0
Tachyon简要调研日志

一 前言 Tachyon是一种基于内存的分布式存储系统,它可以使数据在诸如Spark和MapReduce这样的集群框架中以内存级速度进行可靠的传输。通过利用lineage information和积极的使用内存系统,Tac...

2015/12/11 14:54
20
0
集群中运行Tachyon(译)

集群中运行Tachyon,原文地址:http://www.tachyon-project.org/documentation/Running-Tachyon-on-a-Cluster.html 如译文有误,请指正。...

2015/10/19 17:16
49
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部