首页
开源软件
问答
博客
翻译
资讯
Gitee
众包
活动
专区
源创会
高手问答
开源访谈
周刊
公司开源导航页
登录
注册
Gitee
资讯
专区
问答
活动
软件库
Tool
博客
众包
OSCHINA 小程序 ——
关注技术领域的头条文章
聚合全网技术文章,根据你的阅读喜好进行个性推荐
登录
注册
HTTPFS: 基于HTTP操作hadoop hdfs文件系统
Hadoop提供了一个Java native API来支持对文件系统进行创建,重命名,删除文件或者目录,打开读取或者写文件,设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺好的。但是,运行在集群外部的应用程序需要操作HDFS的时应该怎么办?如果解决这种问题呢?
作者:
cloud-coder
HTTPFS: 基于HTTP操作hadoop hdfs文件系统
分享
复制链接
README badge(
)
社交分享
微信
QQ
微博
haopengfei
2016/01/05 11:24
已经可以上传文件了,但是上传的文件查看时length为0,是哪里出现了问题
回复
举报
haopengfei
2015/12/25 15:04
引用来自“qhdfeng163”的评论
上传文件没有成功,控制台输入如下信息:
15/06/03 08:55:19 INFO httpclient.HttpFSClient: HTTP/1.1 307 TEMPORARY_REDIRECT,
请问这个问题如何解决?
我也同样遇到这个问题
回复
举报
taojiaenx
2015/11/11 08:40
请问我在Red Hat 4.8.2-16 搭建了hdfs,在使用httpfs的时候, 日志中出现了
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
我用的是hadoop自带的httpfs
请问这是为什么, 而且我需要把hadoop-env.sh 中的JAVA_HOME改成/home/java....jdk才能用, 是不是和这个问题有关联啊??
现在不管做什么操作json都会显示500和NullException
[hadoop@iZ62bcwb25pZ ~]$ curl -i "HOST_NAME:14000/webhdfs/v1?op=LISTSTATUS&user.name=taojiaen"
HTTP/1.1 500 Internal Server Error
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth="u=taojiaen&p=taojiaen&t=simple&e=1447209758905&s=bvZpONUcJU1NKD5sMQOjBBtC1x4="; Path=/; Expires=Wed, 11-Nov-2015 02:42:38 GMT; HttpOnly
Content-Type: application/json
Transfer-Encoding: chunked
Date: Tue, 10 Nov 2015 16:42:39 GMT
Connection: close
{"RemoteException":{"message":null,"exception":"NullPointerException","javaClassName":"java.lang.NullPointerException"}}
求教求教
回复
举报
q
qhdfeng163
2015/06/03 09:02
上传文件没有成功,控制台输入如下信息:
15/06/03 08:55:19 INFO httpclient.HttpFSClient: HTTP/1.1 307 TEMPORARY_REDIRECT,
请问这个问题如何解决?
回复
举报
王二铁
2014/12/15 19:27
受益,多谢~
回复
举报
回复 @
{{ emoji.type }}
{{emojiItem.symbol}}
评论用户
q
推荐博客
国庆中秋特别漫画:小哪吒猫助力大平台工程
Zadig云原生交付
·
09/30 15:42
0 评论
PostgreSQL 16 正式登场,拓数派代码贡献揭示中国顶尖技术实力
OpenPie
·
09/28 16:10
0 评论
What's new in Pika v3.5.1
dubbo-go开源社区
·
09/28 14:10
0 评论
Java 21 新特性:虚拟线程(Virtual Threads)
程序猿DD
·
09/28 10:38
0 评论
百度交易中台之内容分润结算系统架构浅析
百度Geek说
·
09/28 10:36
0 评论
GaussDB数据库SQL系列-自定义函数
Gauss松鼠会
·
09/28 10:35
0 评论
Databend 源码阅读:配置管理
Databend
·
09/28 09:46
0 评论
【AIGC】只要10秒,AI生成IP海报,解放双手!!! | 京东云技术团队
京东云开发者
·
09/28 09:46
0 评论
【稳定性】秘密武器--功能开关技术 | 京东物流技术团队
京东云开发者
·
09/28 09:36
0 评论
Dubbo源码浅析(一)—RPC框架与Dubbo | 京东云技术团队
京东云开发者
·
09/28 09:23
0 评论
删除一条评论
评论删除后,数据将无法恢复
取消
确定
©OSCHINA(OSChina.NET)
工信部
开源软件推进联盟
指定官方社区
社区规范
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
顶部
引用来自“qhdfeng163”的评论
上传文件没有成功,控制台输入如下信息:15/06/03 08:55:19 INFO httpclient.HttpFSClient: HTTP/1.1 307 TEMPORARY_REDIRECT,
请问这个问题如何解决?
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
我用的是hadoop自带的httpfs
请问这是为什么, 而且我需要把hadoop-env.sh 中的JAVA_HOME改成/home/java....jdk才能用, 是不是和这个问题有关联啊??
现在不管做什么操作json都会显示500和NullException
[hadoop@iZ62bcwb25pZ ~]$ curl -i "HOST_NAME:14000/webhdfs/v1?op=LISTSTATUS&user.name=taojiaen"
HTTP/1.1 500 Internal Server Error
Server: Apache-Coyote/1.1
Set-Cookie: hadoop.auth="u=taojiaen&p=taojiaen&t=simple&e=1447209758905&s=bvZpONUcJU1NKD5sMQOjBBtC1x4="; Path=/; Expires=Wed, 11-Nov-2015 02:42:38 GMT; HttpOnly
Content-Type: application/json
Transfer-Encoding: chunked
Date: Tue, 10 Nov 2015 16:42:39 GMT
Connection: close
{"RemoteException":{"message":null,"exception":"NullPointerException","javaClassName":"java.lang.NullPointerException"}}
求教求教
15/06/03 08:55:19 INFO httpclient.HttpFSClient: HTTP/1.1 307 TEMPORARY_REDIRECT,
请问这个问题如何解决?