华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。
Alluxio此前曾名为Tachyon Nexus,是一家由Andreessen Horowitz资助的初创企业。
FusionStorage 则属于华为公司旗下的分布式软件定义存储系统。其最新FusionStorage 6.0支持分布式块、文件与对象存储,同时可对数据进行分类、加密与重复数据删除。
Alluxio公司的软件产品是一套以内存为中心的虚拟分布式存储系统。其功能相当于为HDFS节点集合等远程存储系统提供一套本地缓存。其基于本地节点集群运行,而各本地节点则供运行有大数据分析与查询任务的计算节点进行访问。
该软件提供:
配合自动数据放置的分层式存储机制(包括内存、闪存与磁盘)。
配合透明化命名机制的单一命名空间。
可集成原生S3、谷歌Cloud Storage、OpenStack Swift、阿里巴巴OSS、微软Azure Blob等存储方案。
Fuse Connector,采用键-值接口。
一条命令即可完成集群部署。
具备指标报告功能。
Alluxio支持多种不同底层(远程)存储系统,具体包括HDFS、Gluster、S3、OpenStack、GCS、NFS、OrangeFS、IBm Spectrum Scake、Ceph、Isilon等等。
百度公司在Alluxio的帮助下将Spark查询速度提升了30倍。原本需要15分钟才能完成的批量查询如今不到30秒即可搞定,而且一套1000用户Alluxio集群能够提供超过50 TB内存空间。
巴克莱银行亦在运行查询的计算节点与Teradata数据存储库之间采用Alluxio软件,从而将原本需要数小时的Spark任务加速至仅需要数秒。
听起来确实很有搞头。我们认为华为公司及其物联网/云战略确实能够与Alluxio实现良好配合。感兴趣的朋友亦可点击此处与此处分别查看Alluxio项目及其演示材料。
来源:ZDNet存储频道(编译)




引用来自“Fatboy123”的评论
华为好像真没开源过自家的东西???没听说过引用来自“黑暗圣堂武士”的评论
以前出过新闻,linux开发贡献榜上有华为员工。引用来自“强子哥哥”的评论
华为的企业文化一坨渣引用来自“chenwenli”的评论
不渣。。渣了就不会活到现在~~加班不算是文化,是狼性文化的必然现象引用来自“强子哥哥”的评论
我批评华为的企业文化,你就联想到加班,难道华为的企业文化就等同于加班吗?我在我们单位连续加班很多天,那是发自内心的热爱。
另外华为的员工是一边拿着工资一边骂公司,你去问问是不是这样。
引用来自“chenwenli”的评论
我以为你把加班算文化的一部分了,说的是加班很严重。我希望把企业的普遍工作状态跟文化区分开。比如如果企业文化肯定是狼性,加班是必然的。另外除了狼性有争议,可能技术驱动也是个问题。我不是华为员工,没发言权,前面仅是我的理解~引用来自“强子哥哥”的评论
华为的企业文化一坨渣引用来自“chenwenli”的评论
不渣。。渣了就不会活到现在~~加班不算是文化,是狼性文化的必然现象引用来自“强子哥哥”的评论
我批评华为的企业文化,你就联想到加班,难道华为的企业文化就等同于加班吗?我在我们单位连续加班很多天,那是发自内心的热爱。
另外华为的员工是一边拿着工资一边骂公司,你去问问是不是这样。
引用来自“强子哥哥”的评论
华为的企业文化一坨渣引用来自“chenwenli”的评论
不渣。。渣了就不会活到现在~~加班不算是文化,是狼性文化的必然现象引用来自“脆霉公园”的评论
竟然有人喜欢加班,还说的那么理直气壮引用来自“强子哥哥”的评论
华为的企业文化一坨渣引用来自“chenwenli”的评论
不渣。。渣了就不会活到现在~~加班不算是文化,是狼性文化的必然现象我在我们单位连续加班很多天,那是发自内心的热爱。
另外华为的员工是一边拿着工资一边骂公司,你去问问是不是这样。
引用来自“强子哥哥”的评论
华为的企业文化一坨渣引用来自“chenwenli”的评论
不渣。。渣了就不会活到现在~~加班不算是文化,是狼性文化的必然现象引用来自“强子哥哥”的评论
华为的企业文化一坨渣