让黑白老照片和视频恢复原彩 DeOldify

MIT
Python
跨平台
2019-07-04
xplanet

DeOldify 是用于着色和恢复旧图像及视频的深度学习项目。

它采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好,渲染也更逼真。

示例

△“移民母亲” by Dorothea Lange(1936)

△"Toffs and Toughs" by Jimmy Sime (1937)

△中国鸦片吸烟者(1880)

NoGAN

NoGAN 是作者开发的一种新型 GAN 训练模型,用于解决之前 DeOldify 模型中的一些关键问题。

NoGAN 在 DeOldify 中对于保证视频着色的稳定性来说至关重要。NoGAN 训练结合了 GAN 训练的优点(好看的色彩),同时消除了令人讨厌的副作用(如视频中的闪烁物体)。视频由孤立的图像生成,而不添加任何时间建模。该过程执行 30-60 分钟 “NoGAN” 训练的 GAN 部分,每次使用 1% 至 3% 的图像网络(imagenet)数据。然后,与静止图像着色一样,在重建视频之前对各个帧进行“去旧化”(DeOldify)。

除了提高视频稳定性之外,还有一件趣事值得一提。事实证明,即使是不同的模型和不同的训练结构,仍然可以或多或少获得相同的解决方案。即使有些事物的颜色被认为是任意或不可知的,例如服装、汽车甚至特殊效果的颜色(如《大都会》中所见)。

△Metropolis  电影《大都会》(1927)

作者猜测,模型正在学习一些有趣规则,寻找黑白图像中存在的微妙线索,并以此来着色。这不是没有道理的,因为该模型具有更高保真度的图像信息,并且将更有可能一致地做出“正确”的决定。这导致了确定和一致的结果,意味着你没有跟踪模型着色决策,因为它们不是任意的。此外,它们看起来非常健壮,即使在移动场景中的渲染也非常一致。

其他保持视频稳定性的方法还包括:以更高分辨率(更高的 render_factor)渲染;使用 resnet101 而不是 resnet34 作为生成器的主干——对象的检测更加一致和正确。此外,在训练期间高斯噪声增强似乎也有所帮助。

目前,DeOldify 有三种型号可供选择,每一种都有关键优势和劣势,因此具有不同的用例。

三种型号分别为:Artistic(艺术型)、Stable(稳定型)、Video(视频专用)

安装

硬件和操作系统要求

  • BEEFY 显卡(仅限训练)
  • 一个普通显卡(单独着色)
  • Linux(或 Windows 10) 

使用 Anaconda 进行简单安装

打开命令行并导航到要安装的根文件夹,键入以下命令:

git clone https://github.com/jantic/DeOldify.git DeOldify
cd DeOldify
conda env create -f environment.yml

然后开始使用这些命令运行:

source activate deoldify
jupyter lab

通过控制台中提供的 URL 开始在 Jupyter Lab 中运行

的码云指数为
超过 的项目
加载中

评论(16)

宇辰OSC
宇辰OSC
厉害👍
jingshishengxu
jingshishengxu
👍
情缘旋风
这个厉害😄
x
xiaoyaodid
确定那幅水墨画是有颜色的?
局长
局长
角度刁钻
OSC_ELQvfk
OSC_ELQvfk
s
开源扫黑除恶总队
卧槽 暴利项目来了 呵呵哈哈哈我
Jack001
Jack001
卧槽,刚从淘宝找了一家老照片修复上色的,一张要了100了
冰镇阳的光
冰镇阳的光
又是一个革命性产品,希望开发者们尽量不要走偏路,,老是搞什么AI换脸、脱衣服那些
msscn
msscn
能不能把马赛克去掉了
Sunmoons
Sunmoons
能不能把 罗马假日 刷一遍漆

暂无资讯

暂无问答

年度大盘点:机器学习开源项目及框架

摘要: 2018年马上就要结束了,我们来回顾一下过去的这一年中,机器学习领域有哪些有趣的事情吧! 我们先来看看Mybridge AI 中排名靠前的顶级开源项目,再聊聊机器学习今年都有哪些发展,最后...

2018/12/17 12:36
56
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部