hdfs资源同步问题

社区管理员 发布于 2016/05/09 10:06
阅读 376
收藏 1

【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”

场景如下:

1.2个集群互不通信,只有2台主机可以通过sftp命令连接。

2.主机1上有个磁盘约50G,需要先从集群A上hdfs fs -get文件,然后通过sftp命令拉回到主机2上,由于hdfs文件约400G,所以需要分批执行

3.在主机2上使用hadoop -put命令上传到集群2


这样的自动化脚本应该怎么写,需要每周都执行一次

加载中
0
寻梦2012
寻梦2012
hadoop distcp 命令在copy
社区管理员
两个集群是不通的,我解决了,通过expect脚本来弄的
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部