AI面试第五弹(图像分割常用Loss)


https://github.com/JunMa11/SegLoss

前文:推荐一个很好的github仓库,里面几乎有所有图像分割loss的实现,且目前仍在更新:
https://github.com/JunMa11/SegLoss

一、Distributation-based loss 

1、Binary Cross-Etropy(二进制交叉熵损失函数)

交叉熵定义为对给定随机变量或事件集的两个概率分布之间的差异的度量。它被广泛用于分类任务,并且由于分割是像素级分类,因此小郭很好。在多分类任务中,经常采用softmax激活函数+交叉熵损失函数,因此交叉熵描述了两个概率分布的差异,然而神经网络输出的向量,并不是概率分布的形式。所以需要将softmax激活函数将一个向量进行“归一化”成概率分布的习惯是,再采用交叉熵损失函数计算loss。


2、WCE Loss

带权重的交叉熵loss — Weighted cross-entropy (WCE)

R为标准的分割图,其中rn​为label 分割图中的某一个像素的GT。P为预测的概率图,pnp_npn​为像素的预测概率值,背景像素图的概率值就为1-P。

只有两个类别的带权重的交叉熵为:


w为权重。

这种损失函数的缺点是需要认为的调整困难样本的权重,增加调参难度。

3、Focal loss

focal loss的提出是在目标检测领域,为了解决正负样本比例严重失衡的问题。是由log loss改进而来的,为了于log loss进行对比,公式如下:


4、Distance penalized CE loss

5、Log loss

(不同于交叉熵,具体区别可见夕小瑶文章)对于二分类而言,对数损失函数如下公式所示:

log loss

其中,yi为输入实例xi的真实类别, pi为预测输入实例 xi属于类别 1 的概率. 对所有样本的对数损失表示对每个样本的对数损失的平均值, 对于完美的分类器, 对数损失为 0。

此loss function每一次梯度的回传对每一个类别具有相同的关注度!所以极易受到类别不平衡的影响,在图像分割领域尤其如此。

例如目标在整幅图像当中占比也就仅仅千分之一,那么在一副图像中,正样本(像素点)与父样本的比例约为1~1000,如果训练图像中还包含大量的背景图,即图像当中不包含任何的疾病像素,那么不平衡的比例将扩大到>10000,那么训练的后果将会是,网络倾向于什么也不预测!生成的mask几乎没有病灶像素区域!

此处的案例可以参考airbus-ship-detection

二、基于区域的loss

1、Dice loss

dice loss 的提出是在U-net中,其中的一段原因描述是在感兴趣的解剖结构仅占据扫描的非常小的区域,从而使学习过程陷入损失函数的局部最小值。所以要加大前景区域的权重。

Dice 可以理解为是两个轮廓区域的相似程度,用A、B表示两个轮廓区域所包含的点集,定义为:

也可表示为

实际实现时可照以下公式实现:

2、IOU loss




3、Tversky loss

公式如下

α=β=0.5时,Tversky Loss是DICE loss(分子分母同乘2) 。 α=β=1时,Tversky Loss是IOU loss。

同时我们也应注意到 ,如果设A是预测区域,B是真实区域,|A-B|代表着假阳,|B-A|代表着假阴。在这种情况下,我们改变α和β的取值就能够改变我们优化时是希望假阳少一点还是假阴少一点。

4、Generalized Dice loss

在计算DICE loss时,针对每一类都有一个dice loss,这样就会考虑各个类。这个loss可以解决训练数据集不均衡的问题。

5、sensitivity-specificity loss

6、Penalty loss

7、Lovász-Softmax loss

三、基于边界的Loss

1、Boundary loss

2、Hausdorff distance(HD) loss

(1)HD介绍:

在谈论距离时,我们通常指的是最短的距离:例如,如果说一个点X在多边形P的距离D处,我们通常假设D是从X到P的最近点的距离。

相同的逻辑也适用于多边形:如果两个多边形A和B彼此相距一定距离,我们通常将距离理解为A的任意点与B的任意点之间的最短距离。通常,这称为minimin function。该距离A和B之间的D由下式给出

(2)HD loss

由CNN的输出预测HD,并将预测出来的HD当作loss来优化

五、各种Loss相组合

1、Exponential Logarithmic loss

2、其他各种组合...



©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343