京都大学超级计算机备份期间丢失 77TB 数据

来源: OSCHINA
编辑: 局长
2022-01-06 08:54:00

根据外媒 The Stack 的报道,日本京都大学由于其惠普超级计算机的备份系统出现错误,导致约 77TB 的研究数据被删除。

京都大学目前使用 Hewlett Packard Cray 计算机系统和 DataDirect ExaScaler 存储系统,这两个系统被许多研究小组用于各种用途。

该事件发生在 2021 年 12 月 14 日至 16 日,共计 14 个研究小组的 3400 万份文件从系统和备份文件中被抹去。在进行调查以确定损失的影响后,京都大学得出结论,四个受影响研究小组的数据已无法通过备份系统恢复。

超级计算机系统供应商 HPE 发表了一份日文声明,声称对数据丢失“承担 100% 的责任”。

从 HPE 的声明可以看到,此次事件发生在更新了超级计算机使用的备份脚本之后,而此次更新旨在“提高可见性和可读性”。具体来说就是,备份脚本包含的 find 命令可用于删除超过 10 天的日志文件,随着脚本功能的改进,传递给 find 命令的删除过程的变量名也有所改变,以提高可见性和可读性。

然而,负责备份这个超级计算机系统的存储的程序出现了一个缺陷,HPE 补充道:“这个修改后的脚本的发布程序缺乏考虑。原脚本(bash 脚本)仍在运行期间我们就发布了新的脚本(shell 脚本),因此导致在执行过程中重新加载修改后的 shell 脚本,从而导致出现未定义的变量,结果,/LARGE0(备份磁盘存储)中的原始日志文件被删除,但没删除保存在日志目录的文件。”

事件发生后,备份过程已停止,预计 1 月底恢复备份。为防止数据再次丢失,京都大学已弃用备份系统,计划在 2022 年 1 月进行改进并重新引入新的备份系统。除了完整备份镜像之外,还会保留增量备份功能。

展开阅读全文
精彩评论
轰东泥, 私密马森
2022-01-06 11:06
11
举报
你写错了
2022-01-06 12:08
5
举报
比烂是吧?
2022-01-06 11:11
4
举报
誠に大変申し訳ございません!
次は再犯しよう。
2022-01-06 09:07
4
举报
77T的数据,约等于需要56,069,689个软盘
这些软盘存放需要94,197立方米
2022-01-07 09:37
3
举报
2 收藏
分享
33 评论
2 收藏
分享
返回顶部
顶部
返回顶部
顶部