Abstract

近年来，基于分割的方法在场景文本检测中非常流行，因为分割结果可以更准确地描述各种形状的场景文本，例如弯曲文本。但是，二值化的后处理对于基于分割的检测至关重要，该检测将通过分段方法生成的概率图转换为文本的边界框/区域。在本文中，我们提出了一个名为微分二值化（DB）的模块，该模块可以在分割网络中执行二值化过程。通过与DB模块一起进行优化，分割网络可以自适应地设置二值化的阈值，这不仅简化了后处理，而且还增强了文本检测的性能。基于简单的分割网络，我们在五个基准数据集上验证了DB的性能改进，DB算法在检测准确性和速度方面均始终达到最先进的结果。特别是对于轻量级的主干网络，DB的性能改进意义重大，因此我们可以在检测精度和效率之间寻求理想的折衷方案。具体来说，使用ResNet-18的主干，我们的检测器在MSRA-TD500数据集上以62 FPS的速度达到了82.8的F值。代码地址https：//github.com/MhLiao/DB。

Introduction

近年来，由于其广泛的实际应用，例如图像/视频理解，视觉搜索，自动驾驶和盲人辅助。阅读场景图像中的文本已成为一个活跃的研究领域。
作为场景文本读取的关键组成部分，旨在定位每个文本实例的边界框或区域的场景文本检测仍然是一项艰巨的任务，因为场景文本通常具有各种比例和形状，包括水平，多方向和弯曲文本。
最近，基于分割的文本检测吸引了很多关注，因为它可以描述各种形状的文本，
这得益于它可以从像素级别的预测结果中得到预测的结果。但是，大多数基于分割的方法都需要复杂的后处理，才能将像素级预测结果分组到检测到的文本实例中，从而导致推理过程中大量的时间成本。以两种用于场景文本检测的最新技术为例：
PSENet（Wang et al.2019a）提出了渐进式尺度扩展的后处理以改善检测准确性。像素嵌入（Tian et al.2019）用于根据分割结果对像素进行聚类，它必须计算像素之间的特征距离。

1. 我们的方法在五个场景文本基准数据集均实现了更好的性能(包括水平，多方位且弯曲的文本。)
2. 我们的方法比以前的领先方法执行得快得多，因为DB可以提供高度健壮的二值化图，从而极大地简化了后处理。
3. DB在使用轻量级骨干网时效果很好，在使用ResNet-18的骨干网络时大大提高了检测性能。
4. 由于DB可以在推理阶段删除而不牺牲性能，因此没有额外的内存/时间测试成本。

Relate Work

最近的场景文本检测方法可以大致分为两类：基于回归的方法和基于分割的方法。
基于回归的方法是一系列模型，这些模型直接使文本实例的边界框回归。TextBoxes（Liao et al.2017）修改了锚点和
基于SSD的卷积核的规模（Liu等。2016）用于文本检测。 TextBoxes ++（Liao，Shi，and Bai 2018）和DMPNet（Liu and Jin 2017）应用四边形回归检测多向文本。 SSTD（He et al.2017a）提出了一种注意机制来粗略识别文本区域。 RRD（Liao et al.2018）通过使用旋转不变特征进行分类和使用旋转敏感特征进行回归来将分类和回归分离，以更好地应对多方向和长文本实例。EAST（Zhou et al.2017）和DeepReg（He et al。2017b）对多向文本实例的回归是采用像素级的无anchor方法。 SegLink（Shi，Bai和Belongie（2017）回归了分割边界框并预测了它们的连接，以处理长文本实例。 DeRPN（Xie et al.2019b）提出了一个维度分解区域提议网络，以处理场景文本检测中的比例问题。基于回归的方法通常采用简单的后处理算法（例如非最大抑制）。但是，大多数都是有限的代表不规则形状的精确边界框，例如弯曲的形状。
基于分割的方法通常将像素级预测和后处理算法结合起来以获取边界框。 Zhang等人（2016）通过语义分割和基于MSER的算法检测了多方向文本。在（Xue，Lu，and Zhan 2018）中使用文本边框来分割文本实例，Mask TextSpotter（Lyu等人2018a; Liao等人2019）基于Mask R-CNN以实例分割的方式检测到任意形状的文本实例。
PSENet（Wang et al.2019a）提出了通过不同尺度的kernel来对文本实例进行分割来逐步扩展尺度的方法。（Tian et al.2019）提出了像素嵌入技术，以将分割结果中的像素聚类。PSENet（Wang等人2019a）和SAE（Tian等人2019）为分割结果提出了新的后处理算法，从而降低了推理速度。相反，我们的方法着重于通过将二值化过程包括在训练周期中来改善分割结果，而不会降低推理速度。
快速的场景文本检测方法着重于准确性和推理速度。TextBoxes（Liao等，2017），TextBoxes ++（Liao，Shi和Bai 2018），SegLink（Shi，Bai和Belongie 2017）和RRD（Liao等2018）。
通过遵循SSD（Liu et al.2016）的检测架构实现了快速文本检测。 EAST（Zhou et al.2017）提出应用PVANet（Kim et al.2016）来提高速度。它们中的大多数不能处理不规则形状（例如弯曲形状）的文本实例。与以前的快速场景文本检测器相比，我们的方法不仅运行速度更快，而且可以检测任意形状的文本实例。

Methodology

我们提出的方法的框架如图3所示。首先，将输入图像输入到特征金字塔backbone中。 其次，将金字塔特征上采样到相同的比例，并级联以生成特征F。 然后，特征F用于预测概率图（P）和阈值图（T）。 此后，通过P和F计算近似二元映射（B'）。 在训练期间，对概率图，阈值图和近似二元图进行监督，其中概率图和近似二元映射共享相同的监督。 在推理期间，可以通过边界框公式模块从近似二元图或概率图轻松获得边界框。

Binarization

Standard binarization

Differentiable binarization

等式1中描述的标准二值化是不可区分的。 因此，在训练期间无法与分割网络一起对其进行优化。 为了解决这个问题，我们建议使用近似阶跃函数执行二值化：

Adaptive threshold

从外观上看，图1中的阈值图类似于（Xue，Lu，和Zhan 2018）中的文本边框图。 但是，阈值图的动机和用法与文本边框图不同。 在图6中显示了带有/不带有监督的阈值图。即使没有监督阈值图，阈值图也会突出显示文本边框区域。 这表明类似边界的阈值图有利于最终结果。 因此，我们在阈值图上应用了类似边界的监督，以提供更好的指导。

Deformable convolution

可变形卷积（Dai等人，2017年; Zhu等人，2019年）可以为模型提供一个灵活的感受野，这对极端长宽比的文本实例特别有利。 随后（Zhu et al.2019），在ResNet-18或ResNet-50主干中的conv3，conv4和conv5阶段的所有3×3卷积层中应用了可调节的可变形卷积（He et al.2016a）。

Label generation

Optimization

Experiment

Datasets

SynthText（Gupta，Vedaldi和Zisserman 2016）是一个合成数据集，包含80万张图像。 这些图像是从8k背景图像合成的。 该数据集仅用于预训练我们的模型。
MLT-2017 dataset是一个多语言数据集。
它包括代表6种不同脚本的9种语言。该数据集中有7200张训练图像，1800张验证图像和9000张测试图像。我们在微调期间使用训练集和验证集。
ICDAR 2015 dataset（Karatzas等，2015）由1000幅训练图像和500幅测试图像组成，这些图像由Google眼镜捕获，分辨率为720×1280。文本实例是单词级别标记。
MSRA-TD500 dataset（Yao等人，2012）是包含英语和中文的多语言数据集。有300张训练图像和200张测试图像。文本实例在文本行级别标记。按照先前的方法（Zhou等，2017; Lyu等，2018b; Long等，2018），我们包括了HUST-TR400的额外400张训练图像（Yao，Bai和Liu 2014）。
CTW1500 datasetCTW1500（Liu et al.2019a）是专注于弯曲文本的数据集。它包含1000个训练图像和500个测试图像。文本实例在文本行级别中进行注释。
Total-Text datasetTotal-Text（Chng和Chan 2017）是一个数据集，包含各种形状的文本，包括水平，多方向和弯曲。包含1255个训练图像和300个测试图像。文本实例在单词级别标记。

Implementation details

训练数据的数据扩充包括：（1）角度范围为（−10◦，10◦）的随机旋转； （2）随机裁剪； （3）随机翻转。 将所有处理后的图像重新调整为640×640大小，以提高训练效率。
在推理期间，我们保持测试图像的纵横比，并通过为每个数据集设置合适的高度来重新调整输入图像的大小。 batch size大小为1，在单个线程中使用单个1080ti GPU来测试推理速度。推理时间成本包括模型前向传播时间成本和后处理时间成本。 后处理时间成本约为推理时间的30％。

Ablation study

我们对MSRA-TD500数据集和CTW1500数据集进行了消融研究，以显示我们提出的可微分二值化，可变形卷积和不同backbone的有效性。详细的实验结果显示在Tab 1中。
可微分二值化 如图1所示，我们可以看到我们提出的DB在两个数据集上显著提高了ResNet-18和ResNet-50的性能。对于ResNet-18主干网络，DB在MSRA-TD500数据集和CTW1500数据集上进行F度量后，性能分别提高了3.7％和4.9％。对于ResNet-50主干网络，DB带来了3.2％（在MSRA-TD500数据集上）和4.6％（在CTW1500数据集上）的改进。此外，由于可以在推断期间删除DB，因此其速度与没有DB的速度相同。
可变形的卷积如图1所示，可变形卷积还可以带来1.5-5.0的性能提升，因为它为骨干网提供了一个灵活的感受野，而额外的时间成本却很少。对于MSRA-TD500数据集，可变形卷积使F度量增加1.5％（对于ResNet-18）和5.0％（对于ResNet-50）。对于CTW1500数据集，可变形卷积实现了3.6％（使用ResNet-18）和4.9％（使用ResNet-50）的改进。

Comparisons with previous methods

我们将我们提出的方法与以前的方法在五个标准基准上进行了比较，其中包括两个用于弯曲文本的基准，一个用于多方向文本的基准以及两个用于长文本行的多语言基准。 图7中显示了一些定性结果。

Limitation

我们方法的局限性在于它不能处理“文本在文本内部”的情况，这意味着一个文本实例在另一个文本实例内部。 尽管缩小的文本区域对于文本实例不在另一个文本实例的中心区域的情况很有帮助，但是当文本实例恰好位于另一个文本实例的中心区域时，它会失败。 这是基于分割的场景文本检测器的常见限制。

Conclusion

在本文中，我们提出了一种用于检测任意形状场景文本的新颖框架，其中包括在分割网络中提出的可微分二值化过程（DB）。 实验证明，在速度和准确性方面，我们的方法（ResNet-50主干）在五个标准场景文本基准上始终优于最新方法。 特别是，即使使用轻量级的backbone（ResNet-18），我们的方法也可以以实时推理速度在所有测试数据集上实现竞争性能。 将来，我们有兴趣将我们的方法扩展为端对端文本识别的方法。