DeOldify 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
DeOldify 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: MIT
开发语言: Python
操作系统: 跨平台
收录时间: 2019-07-04
提 交 者: xplanet

DeOldify 是用于着色和恢复旧图像及视频的深度学习项目。

它采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好,渲染也更逼真。

示例

△“移民母亲” by Dorothea Lange(1936)

△"Toffs and Toughs" by Jimmy Sime (1937)

△中国鸦片吸烟者(1880)

NoGAN

NoGAN 是作者开发的一种新型 GAN 训练模型,用于解决之前 DeOldify 模型中的一些关键问题。

NoGAN 在 DeOldify 中对于保证视频着色的稳定性来说至关重要。NoGAN 训练结合了 GAN 训练的优点(好看的色彩),同时消除了令人讨厌的副作用(如视频中的闪烁物体)。视频由孤立的图像生成,而不添加任何时间建模。该过程执行 30-60 分钟 “NoGAN” 训练的 GAN 部分,每次使用 1% 至 3% 的图像网络(imagenet)数据。然后,与静止图像着色一样,在重建视频之前对各个帧进行“去旧化”(DeOldify)。

除了提高视频稳定性之外,还有一件趣事值得一提。事实证明,即使是不同的模型和不同的训练结构,仍然可以或多或少获得相同的解决方案。即使有些事物的颜色被认为是任意或不可知的,例如服装、汽车甚至特殊效果的颜色(如《大都会》中所见)。

△Metropolis  电影《大都会》(1927)

作者猜测,模型正在学习一些有趣规则,寻找黑白图像中存在的微妙线索,并以此来着色。这不是没有道理的,因为该模型具有更高保真度的图像信息,并且将更有可能一致地做出“正确”的决定。这导致了确定和一致的结果,意味着你没有跟踪模型着色决策,因为它们不是任意的。此外,它们看起来非常健壮,即使在移动场景中的渲染也非常一致。

其他保持视频稳定性的方法还包括:以更高分辨率(更高的 render_factor)渲染;使用 resnet101 而不是 resnet34 作为生成器的主干——对象的检测更加一致和正确。此外,在训练期间高斯噪声增强似乎也有所帮助。

目前,DeOldify 有三种型号可供选择,每一种都有关键优势和劣势,因此具有不同的用例。

三种型号分别为:Artistic(艺术型)、Stable(稳定型)、Video(视频专用)

安装

硬件和操作系统要求

  • BEEFY 显卡(仅限训练)
  • 一个普通显卡(单独着色)
  • Linux(或 Windows 10) 

使用 Anaconda 进行简单安装

打开命令行并导航到要安装的根文件夹,键入以下命令:

git clone https://github.com/jantic/DeOldify.git DeOldify
cd DeOldify
conda env create -f environment.yml

然后开始使用这些命令运行:

source activate deoldify
jupyter lab

通过控制台中提供的 URL 开始在 Jupyter Lab 中运行

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

DeOldify 的相关博客

AI 复原 100 年前的京城老视频,靠这三个开源工具

本文作者:o****0 近日,一段拍摄于 100 年前的老北京城影像被央视转发,在微博上火了。据了解,该视频出自一位 B 站的 UP 主...

AI 复原 100 年前的京城老视频,靠这三个开源工具

近日,一段拍摄于 100 年前的老北京城影像被央视转发,在微博上火了。据了解,该视频出自一位 B 站的 UP 主大谷的游戏创作小屋...

2018年下半年,别错过这些深度学习项目!

深度学习现在是一个非常火爆的领域,很难对其快速的发展一一记录。 今年早些时候,作为尝试记录深度学习领域进展的第一步,本...

老视频修复爆火,却惹恼了历史学家:这并不是照片的本质

     大数据文摘出品   来源:wired   编译:刘俊寰、朱科锦   近年来,人们对历史的兴趣逐渐浓厚,同时随着AI技术...

百年老照片修复算法,那些高颜值的父母!

作者 | Jack Cui 来源 | Jack Cui(ID:JackCui-AI) 前言 你们家里,有没有高颜值的长辈老照片? 亦或是黑白、亦或是模糊,甚...

百年老照片修复算法 | 淘宝售价 50 ,现在免费教你

点击上方“AI算法与图像处理”,选择加"星标"或“置顶” 重磅干货,第一时间送达 来源:Jack Cui 1 前言 淘宝售价50 的修复技...

再见,老照片!百年老照片修复算法,那些高颜值的父母! - 知乎

点赞再看,养成习惯,微信公众号搜索【JackCui-AI】关注这个爱发技术干货的程序员。本文 GitHub Jack-Cherish/PythonPark 已收...

百年老照片修复算法,那些高颜值的父母!

点击上方“Jack Cui”,选择“加为星标” 第一时间关注技术干货! 1 前言 你们家里,有没有高颜值的长辈老照片? 亦或是黑白、...

不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网

  机器之心报道   机器之心编辑部    一段 AI 修复的视频,让我们体验了一把 100 年前的老北京。      小贩叫卖、马...

AI复原100年前京城老视频,靠这三个开源工具

近日,一段拍摄于 100 年前的老北京城影像被央视转发,在微博上火了。据了解,该视频出自一位 B 站的 UP 主大谷的游戏创作小屋...

DeOldify 的相关问答

还没有任何问答,马上提问

评论 (18)

加载中
这个怎么用啊?
05/14 12:39
回复
举报
厉害👍
2019/07/15 18:30
回复
举报
从哪个文件开始运行呀
2019/09/09 19:30
回复
举报
👍
2019/07/10 19:00
回复
举报
这个厉害😄
2019/07/10 08:47
回复
举报
确定那幅水墨画是有颜色的?
2019/07/09 12:30
回复
举报
角度刁钻
2019/07/15 18:27
回复
举报
s
2019/07/09 08:03
回复
举报
卧槽 暴利项目来了 呵呵哈哈哈我
2019/07/08 23:20
回复
举报
卧槽,刚从淘宝找了一家老照片修复上色的,一张要了100了
2019/07/08 16:12
回复
举报
又是一个革命性产品,希望开发者们尽量不要走偏路,,老是搞什么AI换脸、脱衣服那些
2019/07/08 14:21
回复
举报
能不能把马赛克去掉了
2019/07/08 12:53
回复
举报
更多评论
18 评论
228 收藏
分享
返回顶部
顶部