论文 | Look at Boundary: A Boundary-Aware Face Alignment Algorithm

模型框架

文章提出将离散的人脸的关键点组合连接成边缘轮廓辅助面部关键点的回归。这里的Boundary是通过人脸对应的关键点连线生成的,细节部分可以看原文。另外,与原本的Stacked Hourglass Networks实现不同的地方是在上图(a)中加入了MPL来保证生成heatmap的质量。同时为了保证生成的heatmap更加接近真实的Boundary还用了鉴别器来提供表示boundary真实性的Loss。

Message Passing Layer接在每一个Hourglass子网络的后面分成K个分支,每个分支表示一类边缘特征图。这里的MPL在CVPR2016的 Structured feature learning for pose estimation 中,作者基于人体关节之间的空间相对位置比较稳定,提出双向树结构模型使得人体关节处的特征通道可以收到其他关节处的信息。

几何卷积核变换示意,中间部分的f比较好地检测到了小臂,那小臂上面一点就应该是胳膊肘,所以用一个卷积核把热点往上挪一点再和上面e检测到的胳膊肘的信息融合就能得到较为准确的胳膊肘的热点位置

关节相对位置的关联性可以用于强化单个关节的识别准确度,但是为了达到这种变化能够刚好把小臂的识别热点移动到它上边那个胳膊肘的位置然和再和已经检测到胳膊肘的特征图叠加来强化这个胳膊肘的位置,这种相互印证来促进准确找到关节位置,也可以通过这些相互印证来抑制错误是别的关节点。而这种位置变换核需要通过学习来调整到最佳的状态,所以作者又设计连续的三个7x7的卷积核来学习这种变换核。

关键点之间的关系是根据人体本身的结构特点来规定的,原始的输入图像通过卷积得到各个关节点的特征图,然后按照(2,a)中的规则对特征图进行位置偏移卷积加和并使这种组合得到经过关节信息相互影响过的加强特征图,这里的w就是要学习的位置偏移卷积核

这种位置偏移卷积核的提出很大程度上基于物体形状稳定的假设,并且有直观的设计思路。基于双向的树形结构能够使这种学习到位置偏移卷积有更好的鲁棒性。

Message Passing Layers

MPL

在不同的stacked hourglass net 的输出中,提到的轮廓特征可能会比较不一致,但是最终输出的heatmap应该能比较干净地突出其目标的轮廓特征,所以采用MPL的方式将各个阶段输出的heatmap进行融合。

\hat{M}^{t}_{i}=({A'}_{i}^{t}\oplus {B'}^{t}_{i})*{w}^{a^t_i}

其中\oplus表示串联,{w}^{a^t_i}表示在t阶段提取第i个轮廓热度图的卷积核,所有的轮廓组合在一起就有了\hat{M}^{t}=\{\hat{M}_{i}\}^K_{i=1},通过MSE作为Loss

\mathcal{L}_G=\frac{1}{2N}\sum^N_{i=1}\sum^K_{i=1}||\hat{M}^{t}_{i}-M^{t}_{i}||^2_2

Heatmap生成质量度量

加入Boundary的目的是为了更好地估计关键点的坐标位置,如果这个生成的Heatmap有助于这一过程,那就是一个质量好的Heatmap。但是这很难度量,所以采用GAN中常用的鉴别器来对这种质量进行度量。

所有的关键点都应落在轮廓上,每个轮廓都是由几个关键点组成,比如眼睛的轮廓就是由几个眼睛周围的关键点连接而成的,所以这个轮廓和关键点的位置就算不重合也不能偏离地太远。Pr表示概率\delta表示概率阈值。

这样在距离阈值\theta的限制下,再通过鉴别器可以判断生成的heatmap是否足够真实

\mathcal{L}_D=-(\mathbb{E}[\log D(M)]+\mathbb{E}[\log (1-|D(G(I))-d_{fake}|)])

这里的M是我们通过真实的关键点生成的轮廓heatmap。这样可以把整个模型再简化地写成生成对抗的方式,也是有一个G来生成heatmap,由D分辨这个heatmap的真假

\mathcal{L}_A=\mathbb{E}[\log (1-D(G(I)))]

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容