【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”
场景如下:
1.2个集群互不通信,只有2台主机可以通过sftp命令连接。
2.主机1上有个磁盘约50G,需要先从集群A上hdfs fs -get文件,然后通过sftp命令拉回到主机2上,由于hdfs文件约400G,所以需要分批执行
3.在主机2上使用hadoop -put命令上传到集群2
这样的自动化脚本应该怎么写,需要每周都执行一次
【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”
场景如下:
1.2个集群互不通信,只有2台主机可以通过sftp命令连接。
2.主机1上有个磁盘约50G,需要先从集群A上hdfs fs -get文件,然后通过sftp命令拉回到主机2上,由于hdfs文件约400G,所以需要分批执行
3.在主机2上使用hadoop -put命令上传到集群2
这样的自动化脚本应该怎么写,需要每周都执行一次