版权声明：本文为卫伟学习总结文章，转载请注明出处！

1.H264基础概念

在H.264/AVC视频编码标准中，整个系统框架划分如下两个层面：

• 视频编码层(VCL): VCL数据即被压缩编码后的视频数据序列，负责有效表示视频数据的内容；
• 网络抽象层(NAL):负责将VCL数据封装到NAL单元中，并提供头信息，以保证数据适合各种信道和存储介质上的传输。

每个 NAL 单元都是由 1 字节 NAL header 和 若干整数字节的负荷数据 EBSP 构成。

2. I帧、B帧和 P帧

视频压缩中，每一帧代表一副静止的图像。而在实际压缩时，会采取各种算法减少数据的容量，其中IPB就是最常见的。
简单地说，I帧就是关键帧。可以理解为帧内压缩。P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。

• I帧：表示关键帧，可以理解为这一帧画面的完整保留，解码时只需要本帧数据就可以完成（因为包含完整画面）。
• P帧：表示的是这一帧跟之前的一个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）。
• B帧：是双向差别的帧，也就是 B帧 记录的是本帧与前后帧的差别（具体比较复杂，有四种情况）。换言之，要解码 B帧，不仅要取得之前的缓存画面，还要本帧之后的画面，通过前后画面与本帧数据的叠加取得最终的画面。B帧 压缩率高，但是解码时 CPU 会比较累。

采用的压缩方法：分组，将几帧图像分为一组(GOP)，为防止运动变化，帧数不宜取多。

• 1. 定义帧:将每组内各帧图像定义为三种类型，即 I帧，P帧，B帧；
• 2. 预测帧：以 I帧 为基础帧，以 I帧 预测 P帧，再由 I帧 和 P帧 预测 B帧；
• 3 数据传输：最后将I帧数据与预测的差值信息进行存储和传输。

3. GOF

GOF：一组帧。如果一秒钟之内有三十帧，这三十帧可以划为一组。如果摄像头一分钟内捕获的图片都没有什么大变化，这样也可把这一分钟内的所有帧成为一组帧。

3.1 SPS与PPS

SPS与PPS实际是对存GOF的参数。
SPS：Sequence Parameter Set, 序列参数数集，存放帧数、参考帧数目、解码图像尺寸、帧场编码模式选择标识等。
PPS：Picture Parameter Set,图像参数集，存放熵编码模式选择标识、片组数目、初始量化参数和去方块滤波系数调整标识等。
在一组帧之前，首先会收到SPS和PPS，如果没有这两个参数就不能进行解码和编码处理。SPS和PPS规划为I帧，这两个帧数据是不能丢失的。

4. 视频花屏/卡顿原因

如果GOF分组中的P帧丢失会造成解码端的图像发生错误。本身一组帧形成图像的连贯动作，当某一个帧没有到达或者损失了，这时更新的那一块数据就没有。后面帧更新了，但前面那一块没有更新，就出现了花屏现象。
为了避免花屏问题的发生，一般如果发现P帧或者I帧丢失，就不显示本GOP内的所有帧，直到下一个I帧来后重新刷新图像。这时会出现卡顿现象。
总结花屏是因为丢失了数据，卡顿是为了防止花屏主动丢掉一组GOF数据。

5.视频编码器

x264/x265:x264是目前最广泛的H.264的视频编码器。软编基本用x264。x265也逐渐成熟。因为它的压缩比更高，占用CPU的性能也高，在直播系统里不适合用。在点播系统里可以尝试使用。
openH264:比x264性能更低些，但支持SVC视频技术。SVC将视频进行分层传输，一帧数据分为小中大三个部分。如果网络差的情况下，只发最小内核的帧，网络稍微好点，发中间内核帧。网络非常好，全部发出去。发出去后，将这三层叠加在一起，恢复原来的视频。

6.宏块的划分与帧分组

7.H264压缩技术

帧内预测压缩：解决的是空域数据冗余问题。空域数据就是一幅图中其中颜色、色彩和光亮等人眼不是很敏感的部分，这部分称之为冗余数据，可以将它直接删除掉的。
帧间预测压缩:解决的是时域数据冗余问题。因为一组帧的数据相关型非常高，这些帧数据基本重复的，把这些重复的数据全部删除。
整数离散余弦变换(DCT)：将空间上的相关性变为频域上无关的数据然后进行量化。
CABAC压缩：无损压缩。

7.1.组内宏块查找 （帧间压缩技术）

7.2 帧内预测

7.3 DCT压缩

7.4 VLC压缩

上下文适应无损压缩技术。具体详解