CephFS Hadoop Plugin

LGPL
Java
跨平台
2014-09-11
红薯

该项目是基于 Ceph 实现的 Hadoop FileSystem (HCFS)

In addition, for developers, it includes a Vagrant recipe for spinning up a Ceph 1 node cluster to test the plugin.

The vagrant recipe

  • installs ceph-deploy, ceph, ceph-fuse, etc..

  • installs the ceph java bindings

  • configures and sets up a single node cluster

  • creates a fuse mount in /mnt/ceph

  • installs maven

  • creates a shared directory for development (/ceph-hadoop)

  • creates a shared directory for vagrant setup (/vagrant)

  • installs custom HCFS jars for HADOOP-9361

  • finally runs the entire build, creates the jar, and runs unit tests.

加载中

评论(0)

暂无评论

暂无资讯

暂无问答

cephfs文件系统环境搭建介绍

本文介绍cephfs文件系统的搭建过程以及通过内核模块方式和fuse方式加载cephfs的过程

2015/12/11 15:43
1K
0
ceph文件系统与原生磁盘读写性能的比较

使用iozone工具对ceph文件系统及原先磁盘进行读写的测试,查看数据,并比较其性能。

2014/05/29 17:34
6.3K
9
采用cephfs实现Elasticsearch数据持久化

一、cephfs 参考了以下文章 Centos7部署Ceph cephfs创建 在172.20.0.10上搭建了三节点ceph cluster 10.0.169.87 node1.cephfs-cluster (mons at {node1=10.0.169.87:6789/0}) 10.0.149.141...

09/18 09:09
18
0
kubernetes with cephfs cephrbd 持久化存储,动态存储

这是k8s使用cephfs ceph rbd做持久化存储,动态存储的简单文档 一、ceph rbd 系统centos7.3 kubernetes v1.13.1 ceph mimic external-storage ceph rbd tag v5.2.0 这个文档使用的所有文件都...

02/17 21:52
11
0
在Docker里运行Ceph

Ceph是一个完全开源的分布式存储方案、网络块设备以及文件系统,具有高稳定性、高性能、高扩展性等特点,可应对terabyte到exabyte级别的数据量。 通过使用创新性的调度算法(CRUSH)、主动存...

2015/08/12 14:11
715
1
Ceph filesystem文件系统的使用

(1) 使用要求: a) 集群环境搭建成功 b) 集群的状态是 active+clean。 c) 节点配置,将admnode也作为client-node使用,在client-node节点上操作。 主机名 角色 磁盘 ======================...

2016/03/24 15:21
58
1
ceph infernalis版本搭建过程

介绍ceph infernal版本使用ceph-deploy工具进行搭建的过程。该过程包括ceph集群的创建以及cephfs的搭建过程,后续还会继续描述块设备和对象存储的搭建过程。

2015/12/16 17:13
308
0
NFS+CephFS driver for Manila还有很长的一段路

John Spray在邮件列表提到,NFS+CephFS的组合在ocata才能开发完成,自动创建nfs gateway vm会在Ocata版发布,联想到cephfs mds AA机制还没有开发完成。看来想用上可靠的fs服务还需要一段时间...

2016/11/29 10:07
123
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部