1. training
1.1. IoU branch training
首先由gt(红色框)生成一些candicates(绿色框)
remove与gt的IOU小于0.5的cadicates
使用PrRoI Pooling提取特征,进入IoU分支进行预测。target就是绿色框与红色框的IoU
2. Inference
2.1. IoU-guided NMS
2.2. Bounding box refinement as an optimization procedure
注意这里是inference阶段,参数都固定下来了
对于预测的boxes,首先通过
PrPool
提取出特征feed进IoU branch计算
score
再对boxes坐标求导,更新boxes坐标得到new boxes
new boxes进行
PrPool
提取特征,在IoU branch计算出new score
当
new score
与score
差别不大,或者执行超过T
2.3 PrPool
2.3.1 好处
没有量化误差
2.3.2 三种pooling比较
下图红色虚线是一个bin,并非box
ROI Align
是在bin中取4个点,通过差值计算出四个点的值,再对四个点avg来代表bin的值PrROI
相当于在bin中取无数个点(因为是连续的),再对这无数个点的值sum, 再除以bin的面积取平均即上图,对积分,再比上
如何对这无数个点的每一个点计算特征值 呢?