分布式文件系统 HDFS

Apache
Java
跨平台
Apache
2012-09-10
红薯

HDFS

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。HDFS开始是为开源的apache项目nutch的基础结构而创建,HDFS是hadoop项目的一部分,而hadoop又是lucene的一部分。

加载中

评论(1)

轩辕剑
轩辕剑
http://www.oschina.net/p/hdfs 这个软件首页链接打不开了 #HDFS#

HDFS 进化,Hadoop 即将拥抱对象存储?

Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone,能将HDFS从文件系统扩展成更加复杂的企业级存储层。 Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境,这...

2014/10/16 07:19

6 个开源的大数据文件系统

大数据在今天吸引了大量关注,个人、企业和政府机构之间的互动创造了数据的海洋,通过有效识别、访问、筛选和分析其中部分数据能带来新的见解和益处。大数据需要大量的储存空间,先进的存储基...

2013/04/14 22:43

没有更多内容

加载失败,请刷新页面

没有更多内容

2
回答
Apache Ignite 具体的场景有哪些,有分享吗?
李玉珏 的回答 03/03 09:47
最佳答案
如想了解更多细节,请与我私信联系。 一般Ignite的应用场景包括: 1.在线业务场景:可作为RDBMS的数据缓存,可以做在线的分布式计算,数据分析等; 2.离线业务场景:可执行一些分析型业务,可作为存储过程的替代性解决方案; 3.大数据平台:可搭建独立的大数据平台,对各种业务、数据进行整合;...
1
回答
基于hive建设数据仓库的问题?

想建设一个数据仓库,查阅了很多数仓建设方案,现在分层方案已经有了,具体物理上基于hive如何构建还是比较迷惑。主要疑问这几点: 1、在hive中建立多个库...

2018/11/30 09:06
1
回答
hive分区内部表分区删除问题

有一个内部表student,字段有name,sex,其中sex是分区字段,目前有两个分区,sex=1和sex=2.我在hdfs上hive内部表的默认目录中...

2018/11/08 16:44
1
回答
hadoop启动后namenode挂掉报错,日志居然提示umilit -a??

centos7 +hadoop2.7.3+服务器1核2G内存 --------------------fen ge xian------------ 实验...

2018/09/21 08:02
2
回答
针对hadoop中的数据如何打标签,实现思路?

需要针对 存储的数据根据规则打上标签、想的是 spark streaming 监控 hdfs 文件变动,看能不能获取到所需的数据,感觉不行啊。。求助!!!...

2018/06/06 10:51
1
回答
datanode变动本地block存储路径后出现以下问题
闵开慧 的回答 2017/11/20 10:31
最佳答案
应该是数据备份数不一致的原因,通过bin/hadoop fsck /查看很多文件备份数不足3份,然后将全部文件备份数设置为3份后问题解决,设置备份数命令bin/hadoop dfs -setrep -w 3 -R /
1
回答
用SparkSQL 能否实现对HDFS数据的修改?

HDFS不支持对数据的修改,能删除和追加,但是能否通过SparkSQL 实现对HDFS上数据的修改呢??

4
回答
求推荐开源任务调度系统

现在我们有个业务场景:hive表的统计分析任务,需要一个调度系统来进行协调,管理任务优先级,任务父子节点先后顺序,支持重跑等功能。

2017/06/07 10:40
6
回答
hbase存储手机通话记录,使用什么作为rowkey?

想用hbase存储业务数据,但业务数据的主键都是按时间递增的值 数据量很大,如果采用数据的主键作为rowkey? 因为一个region只能由一个服务器管理...

2014/11/07 18:00

没有更多内容

加载失败,请刷新页面

HDFS的基本使用

HDFS——shell: 1,ls hadoop fs -ls / 列出 hdfs 文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出 hdfs 文件系统所有的目录和文件 2.put hadoop fs -put < local file > < hdfs fil...

2018/11/01 18:31
32
0
scala中hdfs文件的操作

对于org.apache.hadoop.fs.Path来说, path.getName只是文件名,不包括路径 path.getParent也只是父文件的文件名,同样不包括路径 path.toString才是文件的全路径名 创建文件 hdfs.createNew...

2018/11/21 20:58
102
0
hdfs命令

使用:hdfs --help,hdfs dfs -help查看命令帮助,很详细。 1.hdfs dfs,是最常用的命令了,跟linux的命令很相似,包含所有操作hdfs目录的命令 hdfs dfs -put file1 /dir/ 将linux文件系统的...

2016/07/22 11:47
20
0
hdfs 操作

一、dfs bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加本地liunx下的一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入. · hdfs dfs -...

2017/07/16 00:19
52
0
大数据(hadoop-HDFS原理分析)

HDFS概述 HDFS是什么? 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 Hadoop Distributed File System 易于扩展的分布式文件系统 运行在大量普通廉价机器上,提供容错机制 为大量...

04/17 18:57
29
0
Hadoop常用命令

环境配置参考链接: https://blog.csdn.net/u011596455/article/details/53115410 一、hadoop所在目录 cd usr/local/hadoop 二、启动hadoop bash ./starth.sh % 运行start-dfs.sh % 运行sta...

2018/10/27 01:17
9
0
hdfs入门——常用命令

hadoop fs:使用面最广,可以操作任何文件系统。 hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。 可通过【-help 命令名称...

2018/07/15 15:10
139
0
【Hadoop】- Hadoop常用命令

列出HDFS文件系统指定目录下文件:hadoop dfs –ls 目录 -d:只显示目录信息,不显示子目录 -h:以M为单位的内存显示 -R:子目录递归显示 HDFS创建目录:hadoop fs -mkdir [-p] <paths> HDFS删除...

02/24 22:58
12
0
第二章 关于MapReduce-2

运行MapReduce 代码打jar包,不要包含依赖,使用maven的默认打包工具就行 # ls hdfs的目录 hadoop dfs -ls /user/hadoop/ # 删除output 目录 hadoop dfs rm -f -r /user/hadoop/output # 新建...

08/28 11:52
16
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部