封装了 Hadoop Client 的 API YourHDFS

Apache
Java
跨平台
2016-09-01
强子1985

一个封装了Hadoop Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。

支持以下功能:

1)自定义HDFS目录前缀

2)支持时间目录格式

3)支持按文件固定大小切分

4)支持一段时间内无IO操作文件自动关闭

5)支持中文

6)支持namenode自动探测实现failover.

7)API本身是线程安全的.

8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件。

HDFS的原理图:

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

暂无博客

返回顶部
顶部