Facebook 开源 DeepFocus,实现更逼真的 VR 图像

h4cd
 h4cd
发布于 2018年12月21日
收藏 17

Facebook 开源了一种基于 AI 可实现更逼真 VR 图像的系统 DeepFocus


DeepFocus 可与高级原型头戴设备配合使用,实时渲染模糊和各种焦距。例如,当有头戴支持 DeepFocus 的设备观看附近的物体时,它会立即聚焦并变得清晰,而背景物体则会失去焦点,这与现实生活中的感观一样。这种散焦模糊(也称为视网膜模糊)对于实现 VR 中的真实感和深度感知非常重要。DeepFocus 是目前第一个能够为 VR 应用实时生成此效果的系统。

一些传统方法,例如使用累积缓冲器,可以实现物理上精确的散焦模糊。但它们无法实时产生复杂而丰富的内容,因为即使是最先进的芯片,处理需求也太高了。DeepFocus 使用深度学习解决了这个问题,团队开发了一种新的端到端卷积神经网络,眼睛看到场景的不同部分,就会产生具有精确视网膜模糊的图像。该网络包括新的保持体积的交织层,以在完全保留图像细节的同时减小输入的空间维度。然后网络的卷积层以相同的、降低的空间分辨率运行,运行时间显着减少。

由于 DeepFocus 仅依赖于标准 RGB-D 颜色和深度输入,因此它几乎适用于所有现有的 VR 游戏和应用。

项目地址:https://github.com/facebookresearch/DeepFocus

更详细的分析查看发布公告

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Facebook 开源 DeepFocus,实现更逼真的 VR 图像
加载中
返回顶部
顶部