黑白老照片上色,手把手教你用Python怎么玩儿!

各位读者们,大家好啊,上个月初写了一篇关于老照片修复的教程,有读者看完不过瘾,表示想让我再安排一篇黑白照片上色教程,于是就有了这篇文章的由来

image-20210424192054643

DeOldify 介绍

开始之前先对这个项目做个简单介绍,DeOldify 是一个关于给黑白照片上色的项目,是基于深度学习技术开发的,源码在 Github 上已经开源,目前收获了 13.4 k Star;去年有一个 B 站 Up主 制作了一个有关修复 100 年前老北京的视频

image-20210424195915091

其中用到的上色就用到了DeOldify 框架,DeOldify 创建的目的是为了给黑白照片上色,但让人惊艳的是它除了能处理图片外,也可以处理视频;

image-20210424200405209

DeOldify 的核心网络框架是 GAN ,对比以前上色技术有以下几个特点:

  • 1,老照片中的伪影在上色过程中会被消除;
  • 2,老照片的人脸部位来说,处理后皮肤会变得更光滑;
  • 3,呈现更详细、真实的渲染效果;

简单介绍后,下面开始正式介绍一下它的用法,本次的测试环境如下

  • OS: Windows 10;
  • Python : Python 3.7.6;
  • IDE : Pycharm;
  • pytorch : 1.7.0 ;

2,环境配置

2.1,项目克隆到本地

有两种方法可供选择

1, Git 命令

git@github.com:jantic/DeOldify.git

2,在Github 项目页面点击 Download ZIP 选项,将项目手动下载到到本地,Github 地址贴在下方

https://github.com/jantic/DeOldify

2.2,下载权重文件

DeOldify 是基于深度学习开发的,需要用到预训练权重,这里项目开发者已经把训练好的权重上传到网上,我们可以直接拿来使用,不需要我们再训练

本项目中用到的权重文件比较多,一共三个:

  • 1,Artistic 权重,会使图片上色效果 更 大胆 一些,下载地址:
https://data.deepai.org/deoldify/ColorizeArtistic_gen.pth
  • 2,Stable 权重,相对于 Artistic 上色效果更保守一些,下载地址:
https://www.dropbox.com/s/usf7uifrctqw9rl/ColorizeStable_gen.pth
  • 3 ,Video 权重,此权重文件用来给视频上色,下载地址
https://data.deepai.org/deoldify/ColorizeVideo_gen.pth

权重文件下载完毕后,在项目根目录下创建一个 models 文件夹,把下载好的三个权重文件放入 models 文件夹内,项目根目录排列如下

[图片上传失败...(image-4276b2-1622219912351)]

2.3,安装依赖项

在终端中输入如下命令,安装项目所需要的第三方扩展库;

pip install -r requirements.txt

第三方扩展库安装完毕之后,需要提醒一下,本项目是基于 Pytorch 进行开发的,在 requirements.txt 中作者并没有加入这 torch 依赖库,所以在启动项目之前请确保 torch 、torchvision 等库已经安装到你的运行环境中;

Tip : 如果后面你想用到 GPU 加速效果,CUDA 和 Cudnn 等 GPU 加速包也需要提前配好

3 启动项目

环境配置好之后,下面的步骤就比较简单了,在主项目下创建一个脚本作为程序运行入口

3.1,照片上色

给照片上色的话,在主脚本内填入下面代码块

from deoldify import device
from deoldify.device_id import DeviceId
#choices:  CPU, GPU0...GPU7
device.set(device=DeviceId.GPU0)
from deoldify.visualize import *

plt.style.use('dark_background')
torch.backends.cudnn.benchmark=True

import warnings
warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")

colorizer = get_image_colorizer(artistic=True)

render_factor=35

source_path = 'test_images/image.png'

result_path = None

colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)

代码中有几个参数简单介绍一下:

  • device 指定inference 时用到的 GPU 型号,根据自己情况从下面选项中选择一个即可
from enum import IntEnum

class DeviceId(IntEnum):
    GPU0 = 0,
    GPU1 = 1,
    GPU2 = 2,
    GPU3 = 3,
    GPU4 = 4,
    GPU5 = 5,
    GPU6 = 6,
    GPU7 = 7,
    CPU = 99
device.set(device=DeviceId.GPU0)
  • Artistic 为布尔值, True 表示启用 Artistic 模式 ( False 启用 Stable 模式);
colorizer = get_image_colorizer(artistic=True)

前面提到过 Artistic 与 Stable 是有区别的(因为用到的权重文件是不一样的), Artistic 上色效果会更加激进一些,例如给下面这张荷叶照片上色,不同模式下得到的图片是不一样的

image-20210430221407338

Artistic 模式

image-20210430221435152

Stable 模式

image-20210430221423325
  • render_factor 表示渲染因子,值越效果越好,但同时需要更大的显存;
  • source_path 表示输入图片路径;

上色后的图片会存放在根目录下的 result_images 文件夹中,从网上下载了几张黑白图片,用这个框架自己也测试了一下,看起来效果还不错~

图一

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mM7vfSEW-1622219475075)(C:\Users\zeroing\Desktop\image-20210430221510838.png)]

图二

image-20210430221543902

图三

image-20210430221618418

3.2,视频上色

视频上色,需要用下面的代码块

from deoldify import device
from deoldify.device_id import DeviceId
#choices:  CPU, GPU0...GPU7
device.set(device=DeviceId.GPU0)

from deoldify.visualize import *
plt.style.use('dark_background')
import warnings
warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")

colorizer = get_video_colorizer()

#NOTE:  Max is 44 with 11GB video cards.  21 is a good default
render_factor=21


file_name_ext = file_name + '.mp4'
result_path = None

colorizer.colorize_from_file_name(file_name_ext, render_factor=render_factor)

代码中参数用法参考 3.1,相对给照片上色来说,处理视频时除了耗时之外还需要考虑帧与帧之间的相关性,要复杂一些;

这里我借助 You-get 命令,从B 站下载了1972年《教父》一小部分片段(因为平台上传视频比较麻烦,这里只截取了其中一帧图片,请原谅我的懒,,,)

image-20210529002743136

经过上色处理后,效果如下,

image-20210529002913852

上色后的视频仔细看的话的确还有一定的瑕疵,但整体看起来效果已经相当不错了

4,项目源码获取

为了方便起见,我已经把配置好的项目文件打包成一个解压包,解压后只需安装项目中的所需依赖项即可,无需再配置权重文件;

pip install -r requirements.txt

项目源码获取方式,关注微信公号:小张Python,在公众号后台回复关键字 210501 即可

5,小结

项目上色原理这里并没有太多介绍,感兴趣的读者可以通过阅读源码深入了解一下;如果只是想把这个项目应用到自己数据上,我想这篇文章已经讲的很明白了,之前写过一篇老照片修复文章,其实两者可以结合一下,届时会有很棒的效果~

如果本篇内容对你有所帮助的话,点个赞是对我最大的鼓励~

好了以上就是本篇文章的全部内容了,最后感谢大家的阅读,我们下期见~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容