阿里发布肖像视频生成框架 EMO

来源: 投稿
2024-02-29 17:14:23

来自阿里巴巴的团队发布了音频驱动的肖像视频生成框架 EMO(Emote Portrait Alive),相关论文同步发表于 arXiv。

https://arxiv.org/pdf/2402.17485.pdf

输入一张参考图像和声音音频,该框架能够生成具有丰富面部表情和头部姿势的声音肖像视频。

EMO的工作过程分为两个主要阶段:首先,利用参考网络(ReferenceNet)从参考图像和动作帧中提取特征;然后,利用预训练的音频编码器处理声音并嵌入,再结合多帧噪声和面部区域掩码来生成视频。该框架还融合了两种注意机制和时间模块,以确保视频中角色身份的一致性和动作的自然流畅。

这个过程相当于,AI先看一下照片,然后打开声音,再随着声音一张一张地画出视频中每一帧变化的图像。

EMO的技术报告中称:实验结果表明,EMO不仅能够产生令人信服的说话视频,还能生成各种风格的歌唱视频,显著优于现有的先进方法,如DreamTalk、Wav2Lip和SadTalker,无论是在表现力还是真实感方面。

目前,研究团队认为该模型的潜在应用方向将集中在:提高数字媒体和虚拟内容生成技术水平,特别是在需要高度真实感和表现力的场景中。

然而在另一些人看来,EMO模型却很可能成为别有用心的人手中的犯罪工具。

展开阅读全文
点击加入讨论🔥(7) 发布并加入讨论🔥
7 评论
8 收藏
分享
返回顶部
顶部