北大团队集结开源社区力量,复现 OpenAI 视频生成模型 Sora 

来源: OSCHINA
编辑:
2024-03-04 11:01:00

北京大学袁粒团队联合兔展发起Open Sora项目——旨在复现OpenAI的视频生成模型Sora。由于资源有限,无法进行完整训练,因此希望通过开源社区筹集资源进行训练。

本项目希望通过开源社区的力量复现Sora,由北大-兔展AIGC联合实验室共同发起,当前资源有限仅搭建了基础架构,无法进行完整训练,希望通过开源社区逐步增加模块并筹集资源进行训练,当前版本离目标差距巨大,仍需持续完善和快速迭代。

https://github.com/PKU-YuanGroup/Open-Sora-Plan

整体框架上,Open-Sora由以下部分组成:

1. Video VQ-VAE:这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示,便于后续的处理和生成。

2.Denoising Diffusion Transformer:去噪扩散变换器(Denoising Diffusion Transformer)这个组件用于从潜在表示中生成视频,通过逐步减少噪声来恢复视频的详细内容。

3.Condition Encoder:条件编码器(Condition Encoder)支持多种条件输入,允许模型根据不同的文本描述或其他条件生成视频内容。

更多细节查看:https://pku-yuangroup.github.io/Open-Sora-Plan/blog_cn.html

展开阅读全文
点击加入讨论🔥(1) 发布并加入讨论🔥
1 评论
1 收藏
分享
返回顶部
顶部