问题
本文提出了一种针对二维和三维信息融合的方法以解决三维点云稀疏难以检测远处的目标的问题。
解决方法
本文的主要步骤是首先对与点云对应的二维RGB图像进行语义分割。然后讲三维点云投影到二维RGB相机坐标内。仅考虑位于前景点实体分割中的点。根据位于前景实体区域内的点云生成虚拟点。其生成虚拟点的方法是在二维前景实体分割区域中进行随机采样K个点，然后根据这K个点周围的最近的几个原始点云的深度插值出虚拟点的深度，然后讲这些虚拟点反向投影回三维空间中，同时这些虚拟点包含实体分割中的类别信息。然后对含有虚拟点的点云使用3D backbone进行处理。
上述生成虚拟点的依据可能是对于属于同一个前景目标中的点，其前景深度不会相差很大，所以可以用其周围点的深度信息来对虚拟点的深度信息进行补全。从而到达缓解点云稀疏性的目的。
解决效果
相比于baseline CenterPoint,从上述表格中可以看出，使用生成的修点确实能够在一定程度上提高模型的检测性能。此外，相比于同样采用分割结果来进行多模态融合的PointPainting, 该方法也获得了更好的性能。
消融实验
本文首先探究了不同的三维Backbone对于模型检测性能的影响。其中Split Voxelization表示的对于原始点和虚拟点采用不同的处理策略。从上述表的中可以看出，使用Split Voxelization对于模型实际的检测性能影响并不大。
此外，作者还探究了本文所提方法对不同距离的目标的检测性能的影响。
从上述表格中可以看出，其中CenterPoint + Ours(w/o virtual)表示的是PointPainting方法。从表中可以看出，使用虚拟点对于距离较远的目标的检测性能提升明显。
此外，作者还研究了实体分割精度对于检测性能的影响。
文中通过使用降低输入分辨率模拟实体分割精度下降的方法，从文中可以看出，本文所提方法对于实例分割的精度还是具有较高的鲁棒性。
此外，作者还在文中提到，其在实验过程中验证了本文中所使用的基于邻近点进行深度估计的精度，平均误差在0.33m左右，可见在同一前景目标中，这种基于临近点的深度估计精度还是比较高的。
可用知识点
- 位于同一前景目标中的点云的深度信息不会相差很大，可利用这一特点，对前景目标的二维平面进行采样，同时根据位于前景目标中的点进行深度估计，最终生成点云空间中的虚拟点以缓解点云的稀疏性问题。
