DeepFaceLab进阶:H128,DF,SAE模型有何不同?哪个最好?

整个换脸过程中模型是最重要的一部分,耗时久,调优难,很多人虽然一直在跑模型,却并不知道每个模型的特点。

我也常常被问及:

到底用哪个模型换脸效果最好?

H128和DF有什么差别?

H64和H28有什么不同?

SAE是最好的吗?

全脸和半脸是什么意思?

等等问题。

今天,就专门写一篇文章,来统一解答这些疑问。

首先,来说说每个模型的特点。

H64模型

H64模型也被称为经典模型/原始模型(original),DeepFakes早期就是靠这个模型名震江湖,后来的FaceSwap,DeepFaceLab,Fakeapp都包含这个模型。

相比其他模型,这个模型速度最快,对系统的要求最低,但是同时效果也是比较差的一个。其中64代表的是头像的大小为64px *64px。 这是什么意思呢?这个意思就是,如果你需要替换的头像大小为64像素那么就刚刚好,如果你的视频脸特别大,那么不管你练多久,最终合成视频脸部肯定是模糊的。H64轻量级最低显存要求为2G,H64默认参数需要3G。

H128模型

这个模型和H64的内部结构是完全一样的,唯一的差别就是像素不一样,简而意之就是能处理脸的大小不一样。这个模型对应的像素为128*128,能应对大部分远景和中景镜头,部分特写镜头也能勉强处理。所以他的好处非常明显,缺点嘛自然是需要更久的时间,更大的显存。H128轻量级需要4G显存,H128默认参数需要6G显存(5G+)。

DF模型

DF的结构和H64以及H128其实也是一样的。唯一不同的地方是DF为全脸模型(Full Face),像素为128*128 ,  使用该模型换出来的脸一般来说比H128更像,因为脸部面积大,但是兼容性更差,边缘问题突出。显存要求为5G+

LIAEF128模型

LIAEF128模型的大小和DF一致,同样为全脸模型。但是内部结构有所不同,所以这个模型和前面的模型有本质的不同。LIAEF128能使换脸目标发生一定的形变,以解决换脸生硬的问题,以及一些边缘问题,和轻微遮挡的问题。但是形变容易导致相似度降低,你可能会看不出来谁换了谁。

SAE模型

各大换脸软件基本都是基于以上模型。但是DeepFaceLab却多出了一个模型SAE。按作者的说法,这是一个超级模型。其实从本质上来说,这并不是一个独立的模型,这是一个建立在上面所有模型之上的模型。通过SAE的参数配置,可以配置出以上各种模型。

也就是SAE最大的优势在于“参数可以配置” 。这个模型是DFL主打的模型,可玩性非常高,参数非常多,可以调优的空间也非常大。你可以自定义模型(DF/H/LIAEF,脸型(Half/Full),像素(64/128/256,稍微魔改可以512) ,还有N多参数可探索。

同时有几个缺点,容易崩溃,默认参数合成效果不理想(面具),跑起来特别慢,对系统要求最高。

看了几个模型的异同,大家应该有一个比较好的认识了。关于如何选择模型,你可以参考一下几个点。

 我的配置,不同配置选不同模型。

 我的耐心,不同耐心选不同模型。

 我的追求,不同追求选不同模型。

 我的场景,不同长选择不同模型。

这几点,不展开说了,其实就是从,时间,配置,效果之间做一个权衡。也就是说没有绝对好的模型,也没有绝对差的模型,只有合适的模型。这也是为什么有那么多模型并存的原因。

当然,不管你用什么模型,训练起来都不是那么简单,都需要有极大的耐心和恒心。

全脸和半脸的差别

最后来说说全脸(Full Face)和半脸(Half Face)。 对于这个概念很多人一知半解,很多人有根本性的误解,其实主要是怪这个名字取得不好。说真像之前,先来说说两种误解。

第一种: 全脸包含眉毛,半脸不包含眉毛,所以为了换眉毛我选DF

第二种:全脸是整张脸, 半脸是左边一半脸或者右边一半脸。

这两种都是错的,一个认为是垂直方向的一半,一个认为是水平方向的一半,都是被这个名字给误导了。

其实他是从内向外的一半。曾经有一个灵魂画手用一张图解释了两者的差别。

我不擅长画画,我就用齐天大圣孙悟空来做一个解说吧。所谓半脸就是猴哥“不长毛”的部分,全脸就是整张脸(不包括额头)。 就是这么简单!!!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容