一、结构介绍
- 1.1，视觉跟踪需要用到opencv的trackering类，但官方的OpenCV releases并不包含
opencv_contrib。所以在编译的时候需要包含tracking。
二、编译前的准备
- 2.1，安装Cmake，编译脚本可以用cmake
- 2.2，下载opencv指定版本的标准库
- 2.3，下载opencv_contrib相同版本的贡献库
- 2.4，根据这个路径
~/opencv/platforms/ios/build_framework.py找到build_framework，修改几处基础配置。（将 **--enable_nonfree**设置为**default=True**，默认是False。和由于项目只支持真机，减少编译时间可以将**--iphoneos_archs**为**armv7**）。 - 2.5，
opencv_contrib库中包含很多功能库，我们只需用到tracking这个类，所以可以直接从~/opencv_contrib/modules中找到tracking，移动到~/opencv/modules中即可。
2.5步骤是编译的一种方式，若还需用到其他库可以如下直接编译
./OpenCV/
├── opencv-4.5.5/
└── opencv_contrib-4.5.5/
注解： 标准库和贡献库必须在同一个目录下编译
三、编译OpenCV
- 3.1，切换到你的工作目录，编译后的文件将输出到这个目录（
cd <yourWorkSpace>） - 3.2，执行编译脚本方式一（将需要的功能库移动到opencv的modules种）
python opencv/platforms/ios/build_framework.py ios - 3.3，编译脚本方式二（直接编译标准库和贡献库, --contrib 参数指定为我们下周的扩展包的目录）
python path/to/build_framework.py --contrib path/to/opencv_contrib iOS
四、项目接入opencv2.framework
- 4.1，FiFish项目中视觉追踪有两个版本（即VL1.0和VL2.0），但两个版本底层也是通过OpenCV实现的。
- 4.2，具体实现在
QYVisionLockTrackerManager类
#import <opencv2/opencv.hpp>
#import "opencv2/imgproc.hpp"
#import "qyTracker.h"
#import <opencv2/tracking/tracking_legacy.hpp>
{
cv::Ptr<cv::legacy::TrackerMedianFlow> medianTracker; // VL1.0 视觉跟踪器
QytTracker *tracker; // VL2.0 视觉跟踪器
}
----------- VL1.0(VL1.0是直接和opencv交互) -----------
cv::Rect2d rect2d = [self calculateRectInImageMat:dstMat sizeScale:sizeScale centerScale:centerScale];
medianTracker = cv::legacy::TrackerMedianFlow::create();
bool isTrackerInit = medianTracker->init(dstMat, rect2d);
self.isInitTracker = isTrackerInit;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,isTrackerInit);
----------- VL2.0（VL2.0是与算法交互） -----------
if (tracker == NULL) {
tracker = new QytTracker();
}
cv::Rect bbox = [self calculateRectInImageSize:dstMat sizeScale:sizeScale centerScale:centerScale];
tracker->init(dstMat, bbox);
self.isInitTracker = YES;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,YES);
- 4.3，算法需要的类型的cv：Mat类型，所以需要将yuv转成cv：Mat类型
// yuv转cv::Mat
- (cv::Mat)dstMatWithYuv:(uint8_t *)yuv_frame width:(int)width height:(int)height {
cv::Mat dstMat;
cv::Mat rgbMat;
if (yuv_frame == nil) {
return rgbMat;
}
cv::Mat yuvMat(height+height/2, width, CV_8UC1, yuv_frame);
if (yuvMat.empty()) {
return rgbMat;
}
rgbMat = cv::Mat(height,width,CV_8UC3);
// // COLOR_YUV2BGR_I420 COLOR_YUV2BGR_NV12
if (rgbMat.empty()) {
return rgbMat;
}
cv::cvtColor(yuvMat, rgbMat, COLOR_YUV2BGR_I420, 3);
// if (rgbMat.rows > mMatScaleTargetHeight) {
// double h = (double)height;
// double w = (double)width;
// int dstWidth = mMatScaleTargetHeight / h * w;
// rgbMat.copyTo(dstMat);
//// cv::resize(rgbMat, dstMat, cv::Size(dstWidth, mMatScaleTargetHeight), 0, 0, INTER_AREA); // resize CPU占用有点大
// } else {
// rgbMat.copyTo(dstMat);
// }
rgbMat.copyTo(dstMat);
yuvMat.release();
rgbMat.release();
return dstMat;
}
注解： cv::resize（）函数会造成CPU增加， 所以在询问算法组的同事后表示可以注释这个函数。
总结
优化点：
- 1.0，VisionLock 底层算法是CPU处理，所以在使用久了后，手机会发烫，已反馈给算法组的同事， 同时需要查出上层代码能增加CPU的地方，eg：上次检测出cv::resize（）函数会增加CPU。
- 1.1，由于播放器不同，获取到的视频帧格式不同（可能是NV12、P420、imageBuffer），这里可以优化下代码，看看能不能有更好的兼容性。
