论文地址：《ContourNet: Taking a Further Step toward Accurate Arbitrary-shaped Scene Text Detection》
github地址：https://github.com/wangyuxin87/ContourNet
该论文发表与CVPR2020。
文章认为现在自然场景主要存在两个挑战：1. 误检问题 2. 自然场景中文本尺度变化较大使得网络难以学习。
为了解决上述的两个问题，文章提出了Local Orthogonal Texture-aware Module (LOTM)来缓解误检问题，Adaptive Region Proposal Network（Adaptive-RPN）来解决文本尺度问题。
一、网络结构
ContourNet整体结构如下图所示。可以看出网络主要由三部分，Adaptive Region Proposal Network (Adaptive-RPN), Local Orthogonal Texture-aware Module (LOTM) and Point Re-scoring Algorithm。
整体来看采用的是2-stage的方式。图片先经过backbone+FPN结构的网络，将FPN输出的feature送入Aaptive RPN获取proposals，然后通过Deformable RoI pooling将feature map对应区域特征提取送个LOTM模型，最终经过Point Re-scoring Algorithm输出文本的检测区域。
1.1 Adaptive-RPN
RPN是2-stage物体检测中常用的结构，通常是在anchor基础上回归获得预测的proposal
。通常训练时采用smooth l1 loss，但是这种loss在大小不同的gt框情况下，对于相同IoU的检测框loss值不一样，所以对于优化检测框IoU来说是不太合适的。
为了解决上述问题，文章提出Adaptive-RPN，不同于RPN回归。
首先预定义一些点(这n个点中包含了1个中心点和n-1个边界点)，然后回归获得新的点
。
上式中，是预测的对应的点offsets，
和
为对应anchor框的宽和高。
获得回归后的点后，利用max-min函数求得对应的proposal框，公式如下：
需要特别说明的是，n点中包含的中心点也是为了限制框边界的，例如
RPN回归方式和Adaptive-RPN回归方式示意图如下：
1.2 LOTM
该模块的灵感来源于传统的边缘检测算法，例如Sobel算子。LOTM模块如下所示：
LOTM由两个平行的支路组成。图中上路分支采用的卷积核对文本水平方向的信息进行提取，相同的下路分支采用
的卷积核对文本竖直方向的信息进行提取。k为超参。两路分支的卷积结果分别经过sigmoid层将feature转为值在[0,1]之间的heatmaps，这两个heatmaps分别表示文字轮廓两个正交方向的响应信息。
1.4 Point Re-scoring Algorithm
该模块就是为了将LOTM输出的两个方向的响应信息融合出最终的轮廓信息。该模型的伪代码如下所示：
伪代码中的和
就是采用类似
和
的核进行maxpooling操作。k文章采用3，
这里设置为0.5。
经过这一步后就获得了文本最终的文本轮廓。
二、Loss计算
网络采用的Loss如下式所示：
上式中分别表示Adaptive-RPN 分类loss， Adaptive-RPN 回归loss， 水平方向的contour point loss， 竖直方向的contour point loss， bounding box 分类loss， bounding box回归loss。对应的
值除
外作为balance的超参，其余都是1.
2.1 Adaptive-RPN Loss
上面讲过Adaptive-RPN为了缓解框大小带来的问题，所以Adaptive-RPN回归Loss采用IoU loss：
上式中Intersection和Union表示gt和预测proposal之间的交集和并集。
Adaptive-RPN分类Loss采用cross-entropy loss。
2.2 LOTM Loss
为了解决正负样本不均衡的问题，LOTM模型的loss监督采用class-balanced cross-entropy loss，如下所示：
这里和
表示gt和预测的像素值。
和
分别表示负样本和正样本的个数，N表示总样本数。
2.3 bounding box Loss
Bounding box loss同faster rcnn。
三、gt
所有的训练数据集都是采用多边形的标注方式，多边形边缘的点都是用于训练的轮廓点。(使用scipy包中的distance_transform_edit函数获取)
Adaptive-RPN的gt获取采用预测时类似的方式max-min获取得到。
文章的原理基本是这样的，具体实验可以查看原文。
