HDFS

软件主页
关注
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提...
加载中
2
回答
Apache Ignite 具体的场景有哪些,有分享吗?
李玉珏 的回答 03/03 09:47
最佳答案
如想了解更多细节,请与我私信联系。 一般Ignite的应用场景包括: 1.在线业务场景:可作为RDBMS的数据缓存,可以做在线的分布式计算,数据分析等; 2.离线业务场景:可执行一些分析型业务,可作为存储过程的替代性解决方案; 3.大数据平台:可搭建独立的大数据平台,对各种业务、数据进行整合;...
1
回答
基于hive建设数据仓库的问题?

想建设一个数据仓库,查阅了很多数仓建设方案,现在分层方案已经有了,具体物理上基于hive如何构建还是比较迷惑。主要疑问这几点: 1、在hive中建立多个库...

2018/11/30 09:06
1
回答
hive分区内部表分区删除问题

有一个内部表student,字段有name,sex,其中sex是分区字段,目前有两个分区,sex=1和sex=2.我在hdfs上hive内部表的默认目录中...

2018/11/08 16:44
1
回答
hadoop启动后namenode挂掉报错,日志居然提示umilit -a??

centos7 +hadoop2.7.3+服务器1核2G内存 --------------------fen ge xian------------ 实验...

2018/09/21 08:02
2
回答
针对hadoop中的数据如何打标签,实现思路?

需要针对 存储的数据根据规则打上标签、想的是 spark streaming 监控 hdfs 文件变动,看能不能获取到所需的数据,感觉不行啊。。求助!!!...

2018/06/06 10:51
1
回答
datanode变动本地block存储路径后出现以下问题
闵开慧 的回答 2017/11/20 10:31
最佳答案
应该是数据备份数不一致的原因,通过bin/hadoop fsck /查看很多文件备份数不足3份,然后将全部文件备份数设置为3份后问题解决,设置备份数命令bin/hadoop dfs -setrep -w 3 -R /
1
回答
用SparkSQL 能否实现对HDFS数据的修改?

HDFS不支持对数据的修改,能删除和追加,但是能否通过SparkSQL 实现对HDFS上数据的修改呢??

4
回答
求推荐开源任务调度系统

现在我们有个业务场景:hive表的统计分析任务,需要一个调度系统来进行协调,管理任务优先级,任务父子节点先后顺序,支持重跑等功能。

2017/06/07 10:40
6
回答
hbase存储手机通话记录,使用什么作为rowkey?

想用hbase存储业务数据,但业务数据的主键都是按时间递增的值 数据量很大,如果采用数据的主键作为rowkey? 因为一个region只能由一个服务器管理...

2014/11/07 18:00
1
回答
hadoop namenode能承受多大的访问量???

我现在有一个hadoop集群,但是只有一个namenode,我想知道我的namenode能承受多大的访问量?namenode一宕机整个集群都玩完了。或者有...

2017/04/12 21:29
1
回答
Hadoop namenode无容灾备份的情况下,内存溢出后无法启动

问个Hadoop NameNode的相关问题,问题是这样的:我们的生产环境hadoop 2.5只启动了namenode,没启动secondnamenode...

2017/03/30 15:59
1
回答
为解决小文件的存储问题,HDFS上是否能够通过Federation方式解决?

感觉通过Federation方式能够解决小文件问题,将一个block size设置的小一点专门存储不用实时访问的小文件

2017/03/23 22:02
4
回答
用Sqoop,hdfs导入都mysql时候执行MR时候报错了

sqoop export --connect jdbc:mysql://crxy2:3306/test --username root --passwor...

2015/12/02 19:22
3
回答
CDH5.7.2环境跑比较大的任务时候,其他任务一直等待

CDH5.7.2环境跑比较大的任务时候,其他任务一直等待,小任务可以并行, 关键这个大任务,其实也不大也就10G的数据,我的配置8台128G内存的,CPU...

2016/10/25 21:33
3
回答
关于hdfs-site.xml配置的问题求解,希望能够看一下,谢谢。

为什么我在HDFS服务器端也就是HDFS集群上配置的hdfs-site.xml的dfs.blocksize的大小不起作用,而在HDFS客户端配置的起作用?...

2017/02/28 11:07
2
回答
Hadoop启动失败
王二铁 的回答 2015/11/06 10:03
最佳答案
很明显的端口占用问题啊:caused by: java.net.BindException: Address already in use
1
回答
Spark读取HA模式HDFS Caused by: java.net.UnknownHostException: masters

Spark版本:1.6.1 Hadoop版本:2.6.2 HDFS模式为:HA(正常使用,没有任何问题) <property> <name>fs.de...

2016/06/22 14:18
3
回答
求大神!!使用Cloudera安装Hadoop,数据块自动检测与复制非常慢,平均副本不够3份,怎么破

求技术大神、Hadoop大牛: 使用Cloudera 5.2 安装了 Hadoop 平台,共15个节点,在同个私网,千兆带宽,目前数据量约为80T左右,但...

2015/04/02 10:24
1
回答
HBase存储较大视频文件是如何存储的

HBase存储一个很大的文件(例如5G的视频),是如何放入表中的

2014/11/13 11:12

没有更多内容

加载失败,请刷新页面

返回顶部
顶部