完整的 multi view stereo pipeline 会有以下步骤
1. structure from motion(SfM)==> camera parameters, sparse point cloud
2. multi view stereo(MVS)==>depth map, dense point cloud
3. surface reconstruction(SR)==>poisson or delauny reconstruction, mesh
4. texture mapping(TM)==>get mesh with texture
COLMAP整体流程如下图所示
COLMAP 兼容好几种不同的相机模型，我们在使用时可以对相机模型进行限制以获得最好的效果。如果提前不知道相机内参，最好使用包含畸变系数的模型，默认为 SIMPLE_RAIDIAL 。
如果已知相机没有畸变或畸变影响很小，建议使用 SIMPLE_PINHOLE 模型。
可供选择的模型分别为
SIMPLE_PINHOLE, PINHOLE, SIMPLE_RADIAL, RADIAL, OPENCV, FULL_OPENCV, SIMPLE_RADIAL_FISHEYE, RADIAL_FISHEYE, OPENCV_FISHEYE, FOV, THIN_PRISM_FISHEYE
不同模型含义及参数如下表所示，详见 Camera Models
camera_calibration_and_3d_reconstruction
Structure from Motion
运动恢复结构流程如下图所示
运动恢复结构的目的是求解相机参数，需要把所有输入图片放到一个文件夹下。按如下步骤依次进行。
图像特征提取
相机内参已知的情况下我们可以直接通过命令行参数 ImageReader.camera_params 传给COLMAP。
a. 相机内参已知
$ colmap feature_extractor \
--database_path ./database.db \
--image_path images \
--ImageReader.camera_model SIMPLE_PINHOLE \
--ImageReader.camera_params "1813.3334,1920,1080" \
--SiftExtraction.max_image_size 3840
其中 camera_params 为 std::string 类型，不同的模型有对应的表示方式。参数及含义参考上面表格中的各种相机模型。
b. 相机内参未知
$ colmap feature_extractor \
--database_path ./database.db \
--image_path images \
--ImageReader.camera_model SIMPLE_PINHOLE \
--SiftExtraction.max_image_size 3840
其中 database_path 设置工程数据文件的保存路径
image_path 设置输入图像所在文件夹路径
camera_model 设置相机模型
max_image_size 设置为大于图像最大边所对应的分辨率的值
图像特征匹配
$ colmap exhaustive_matcher --database_path $DATASET_PATH/database.db
其中 database_path 设置为特征点检测时工程数据文件保存的路径。
相机位姿求解与优化
$ mkdir $DATASET_PATH/sparse
$ colmap mapper \
--database_path $DATASET_PATH/database.db \
--image_path $DATASET_PATH/images \
--output_path $DATASET_PATH/sparse \
--Mapper.ba_refine_principal_point true
模型转换与参数读取
在进行稀疏重建之后，model 默认会被导出到 bin 文件中，因为这样比较紧凑，节省空间，可以使用 COLMAP 的模型转换功能将其转换成 txt 文件。注意下面的指令中 input_path 和 output_path 是文件所在文件夹的路径，而不是单个文件路径。
$ colmap model_converter \
--input_path $DATASET_PATH/sparse/0 \
--output_path $DATASET_PATH/sparse \
--output_type TXT
a. 相机内参 cameras.txt 格式如下
# Camera list with one line of data per camera:
# CAMERA_ID, MODEL, WIDTH, HEIGHT, PARAMS[]
# Number of cameras: 3
1 SIMPLE_PINHOLE 3072 2304 2559.81 1536 1152
2 PINHOLE 3072 2304 2560.56 2560.56 1536 1152
3 SIMPLE_RADIAL 3072 2304 2559.69 1536 1152 -0.0218531
b. 相机外参，包含旋转和平移，以及每张图片中特征点在图像中的二维坐标及其对应的三维稀疏点索引images.txt 格式如下，注意这里的旋转保存为单位四元数形式，与 Eigen::Quaterniond 格式相同
# Image list with two lines of data per image:
# IMAGE_ID, QW, QX, QY, QZ, TX, TY, TZ, CAMERA_ID, NAME
# POINTS2D[] as (X, Y, POINT3D_ID)
# Number of images: 2, mean observations per image: 2
1 0.851773 0.0165051 0.503764 -0.142941 -0.737434 1.02973 3.74354 1 P1180141.JPG
2362.39 248.498 58396 1784.7 268.254 59027 1784.7 268.254 -1
2 0.851773 0.0165051 0.503764 -0.142941 -0.737434 1.02973 3.74354 1 P1180142.JPG
1190.83 663.957 23056 1258.77 640.354 59070
c. 稀疏三维点云中三维空间点的信息 points3D.txt 格式如下
# 3D point list with one line of data per point:
# POINT3D_ID, X, Y, Z, R, G, B, ERROR, TRACK[] as (IMAGE_ID, POINT2D_IDX)
# Number of points: 3, mean track length: 3.3334
63390 1.67241 0.292931 0.609726 115 121 122 1.33927 16 6542 15 7345 6 6714 14 7227
63376 2.01848 0.108877 -0.0260841 102 209 250 1.73449 16 6519 15 7322 14 7212 8 3991
63371 1.71102 0.28566 0.53475 245 251 249 0.612829 118 4140 117 4473
如果需要进一步 rectify, 可以把参数输入到 OpenCV 的 stereoRectify() 函数中，之后 initUndistortRectifyMap() , 最后使用 remap() 函数进行重映射 从而得到矫正的结果。
Dense Reconstruction
利用前面的步骤求得的相机参数进行稠密重建，由 PatchMatch 求解单视角对应的深度图和法向图，同时根据需要对深度图和法相图进行滤波。
图像畸变矫正
$ mkdir $DATASET_PATH/dense
$ colmap image_undistorter \
--image_path $DATASET_PATH/images \
--input_path $DATASET_PATH/sparse/0 \
--output_path $DATASET_PATH/dense \
--output_type COLMAP \
--max_image_size 3840
立体块匹配
$ colmap patch_match_stereo \
--workspace_path $DATASET_PATH/dense \
--workspace_format COLMAP \
--PatchMatchStereo.max_image_size 3840 \
--PatchMatchStereo.window_radius 9 \
--PatchMatchStereo.geom_consistency true \
--PatchMatchStereo.filter_min_ncc 0.07
对于纹理不是特别丰富的场景，建议增加 windows_radius 以及降低 filter_min_ncc 来提升深度值求解的准确度。
Mesh and Texutre Map
点云融合
$ colmap stereo_fusion \
--workspace_path $DATASET_PATH/dense \
--workspace_format COLMAP \
--input_type geometric \
--output_path $DATASET_PATH/dense/fused.ply
表面网格重建
$ colmap poisson_mesher \
--input_path $DATASET_PATH/dense/fused.ply \
--output_path $DATASET_PATH/dense/meshed-poisson.ply
$ colmap delaunay_mesher \
--input_path $DATASET_PATH/dense \
--output_path $DATASET_PATH/dense/meshed-delaunay.ply
