1. IOS硬编码步骤
编码步骤:
• 创建编码器,调用接口 VTCompressionSessionCreate
• 设置编码器属性:帧率、码率、GOP、分辨率、像素格式,调用接口 VTSessionSetProperty
• 设置完属性准备编码,调用接口VTCompressionSessionPrepareToEncodeFrames
• 编码,调用接口VTCompressionSessionEncodeFrame输入采集到的视频数据
• 获取到编码后的数据并进行处理
• 停止编码器,调用接口VTCompressionSessionCompleteFrames
• 销毁编码器,调用接口VTCompressionSessionInvalidate
2. 关键接口说明
2.1 码率控制
码率直接影响到图像的质量及大小,故码率的设置是至关重要的。H264有以下4种码率控制方法:
a. CBR(Constant Bit Rate)是以恒定比特率方式进行编码,有Motion发生时,由于码率恒定,只能通过增大QP来减少码字大小,图像质量变差,当场景静止时,图像质量又变好,因此图像质量不稳定。这种算法优先考虑码率(带宽)。
b. VBR(Variable Bit Rate)动态比特率,其码率可以随着图像的复杂程度的不同而变化,因此其编码效率比较高,Motion发生时,马赛克很少。码率控制算法根据图像内容确定使用的比特率,图像内容比较简单则分配较少的码率(似乎码字更合适),图像内容复杂则分配较多的码字,这样既保证了质量,又兼顾带宽限制。这种算法优先考虑图像质量。
c. CVBR(Constrained VariableBit Rate),这样翻译成中文就比较难听了,它是VBR的一种改进方法。但是Constrained又体现在什么地方呢?这种算法对应的Maximum bitRate恒定或者Average BitRate恒定。这种方法的兼顾了以上两种方法的优点:在图像内容静止时,节省带宽,有Motion发生时,利用前期节省的带宽来尽可能的提高图像质量,达到同时兼顾带宽和图像质量的目的。
d. ABR (Average Bit Rate) 在一定的时间范围内达到设定的码率,但是局部码率峰值可以超过设定的码率,平均码率恒定。可以作为VBR和CBR的一种折中选择。
VideoToolBox框架只支持ABR模式。设置平均码率是一个柔性的指标,实际输出码率允许在其上下浮动。kVTCompressionPropertyKey_DataRateLimits 用来设置硬性码率限制,别看这段代码很冗长,实际做的就是设置码率的硬性限制是每秒码率不超过平均码率的 1.5 倍,设置接口如下所示:
//设置平均码率,单位为bps,码率会上下浮动
VTStatus status = VTSessionSetProperty_int(_encoderSession,
kVTCompressionPropertyKey_AverageBitRate,
_bitrate * 1024 * 1.0);
int bytesLimit = _bitrate * 1024 * GopValue / 8;
int secondLimit = GopValue;
CFNumberRef n1 = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &bytesLimit);
CFNumberRef n2 = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &secondLimit);
const void *values[] = {n1, n2};
CFArrayRef dataRateLimits = CFArrayCreate(kCFAllocatorDefault,
(const void**)&values,
sizeof(values)/sizeof(values[0]),
NULL);
status = VTSessionSetProperty(_encoderSession, kVTCompressionPropertyKey_DataRateLimits, dataRateLimits);
CFRelease(dataRateLimits);
CFRelease(n1);
CFRelease(n2);
2.2 设置画质
a. BP(Baseline Profile):基本画质。
支持I/P 帧,只支持无交错(Progressive)和CAVLC;主要应用:可视电话,会议电视,和无线通讯等实时视频通讯领域
b. EP(Extended profile):进阶画质。
支持I/P/B/SP/SI 帧,只支持无交错(Progressive)和CAVLC;
c. 主流画质。
提供I/P/B 帧,支持无交错(Progressive)和交错(Interlaced),也支持CAVLC 和CABAC 的支持;主要应用:数字广播电视和数字视频存储
d. 高级画质。
在main Profile 的基础上增加了8×8内部预测、自定义量化、 无损视频编码和更多的YUV 格式;应用于广电和存储领域
//设置画质
status = VTSessionSetProperty(encoder->_encoderSession,
kVTCompressionPropertyKey_ProfileLevel,
kVTProfileLevel_H264_High_AutoLevel);
IOS 常用画质配置:
实时直播:
低清Baseline Level 1.3
标清Baseline Level 3
半高清Baseline Level 3.1
全高清Baseline Level 4.1
存储媒体:
低清 Main Level 1.3
标清 Main Level 3
半高清 Main Level 3.1
全高清 Main Level 4.1
高清存储:
半高清 High Level 3.1
全高清 High Level 4.1
2.3 配置I帧间隔,GOP
// 设置一个GOP多少帧
VTSessionSetProperty_int(encoder->_encoderSession,
kVTCompressionPropertyKey_MaxKeyFrameInterval,
frameRate * kGOPIntervalInSeconds);
//SetVTSessionProperty(_compressionSession,
kVTCompressionPropertyKey_MaxKeyFrameInterval, 180);
// 设置3s必须有一个关键帧
//SetVTSessionProperty(_compressionSession,
kVTCompressionPropertyKey_MaxKeyFrameIntervalDuration,
3);
2.4 配置工作模式
设置编码器的工作模式是实时还是离线,实时会编得快些,延迟更低,但压缩效率会差一些,离线则编得慢些,延迟更大,但压缩效率会更高。本地录制视频文件可以使用离线模式,RTC 场景下为了降低延迟,则需要使用实时模式了。
VTSessionSetProperty(encoder->_encoderSession,
kVTCompressionPropertyKey_RealTime,
kCFBooleanTrue);
2.5 配置是否产生B帧
High profile 支持 B 帧, 但是 B 帧会加大延迟。
VTSessionSetProperty(encoder->_encoderSession,
kVTCompressionPropertyKey_AllowFrameReordering,
kEnableBFrame ? kCFBooleanTrue : kCFBooleanFalse);