音视频编解码基本流程
1、数据采集
2、纹理(Texture):指的是一张表示物体表面细节的位图
- 视频纹理:是一种介于图像和视频之间的媒体,它对一段长度有限的视频进行分析,通过不断的重复原始视频中的某些片断,得到无限连续的视频
3、PCM:脉冲编码调制 (Pulse Code Modulation)
- 在PCM 过程中,将输入的模拟信号进行采样、量化和编码,用二进制进行编码的数来代表模拟信号的幅度 ;接收端再将这些编码还原为原来的模拟信号的过程
二、音视频轨道基本概念
1、单音视频轨道
想象:一个加工厂车间(相当于:合成器)、加工产品(生产线)、 输出产品(合成结束)、包装(导出)、使用(播放)的过程
- AVMutableComposition:合成器,用于处理视频和音频的合成
- AVMutableVideoComposition:指挥人员,告诉合成器,该怎么合成,应该把资源(视频/音频)放在那个位置(时间线)
- AVMutableAudioMix:调试员,告诉合成器,该怎么调节即将出车间的产品(*合成的视频的音量)
- AVAssetExportSession:包装员,将整个产品完成包装,即将正式使用
2、视频组装(合成)过程
- AVAsset视频资源:包含视频轨道(AVAssetTrack-Video)和音频轨道(AVAssetTrack-Audio)
- 合成原理:即将导入的视频资源,按音/视频轨道抽取出来,重新放入新的轨道的过程
3、视频与视频之间的过渡
- 视频轨道指令(AVMutableVideoCompostionInstruction):每个视频轨道,都会对应一个控制指令
- 视频轨道指令控制层(AVMutableVideoCompositionLayerInstrciton):每个指令都有对应的控制层,过渡转场即控制层与控制层的之间的变化过程
因此:实现多个视频合成,需要过渡效果,就必须使用A->B,A->B 或者A->B B->C C->D形式的轨道结构,而不能使用单一轨道。
以上即视频编辑的基本过程