Sora 是 OpenAI 于日前发布的首个视频生成模型。可根据文本描述生成长达 60 秒的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。OpenAI 在技术报告介绍道，他们将 Sora 视频生成模型视作世界模拟器。具体来说就是通过跨越不同持续时间、宽高比和分辨率的视频和图像，从而生成最高可达一分钟的高清视频。
Sora 使用了一种特殊的深度学习模型（即 Transformer）来处理视频和图像数据。这种处理方式首先将视频和图像编码成潜在代码，然后将这些代码分解成包含时间和空间信息的小块（即时空补丁），最后利用 Transformer 模型在这些补丁上进行操作。
字节跳动推出中文版“Sora”？回应来了
近日，市场有消息称，在 Sora 引爆文生视频赛道之前，国内的字节跳动也推出了一款新型视频模型 Boximator，与 Gen-2、Pink1.0 等既有模型相比，Boximator 的独特之处在于，它能够通过文本输入精确地控制视频中人物或物体的运动。
2月20日，字节跳动相关人士回应称，Boximator是视频生成领域控制对象运动的技术方法研究项目，目前还无法作为完善的产品落地，距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。
Sora 是 OpenAI 于日前发布的首个视频生成模型。可根据文本描述生成长达 60 秒的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。OpenAI 在技术报告介绍道，他们将 Sora 视频生成模型视作世界模拟器。具体来说就是通过跨越不同持续时间、宽高比和分辨率的视频和图像，从而生成最高可达一分钟的高清视频。
Sora 使用了一种特殊的深度学习模型（即 Transformer）来处理视频和图像数据。这种处理方式首先将视频和图像编码成潜在代码，然后将这些代码分解成包含时间和空间信息的小块（即时空补丁），最后利用 Transformer 模型在这些补丁上进行操作。
这样的处理方法能够有效地捕捉和生成视频和图像数据中的复杂时空动态，为生成高质量的视频和图像提供了一种强大的方法。
相关阅读：