直播业务
1、采集端:需要深入了解
1.1 音视频采集:AVFoundation
1.2 视频处理(美颜、滤镜等):CoreImage、GPUImage(常用)
GPUImage版本 | 渲染框架 |
---|---|
1.0-2.0 | OpenGL ES |
3.0 | Metal |
1.3 音视频编码(压缩)
音频编码 | 视频编码 | |
---|---|---|
原生 | AudioToolBox | VedioToolBox |
开源 | FFmpeg | FFmpeg |
1.4 封包(把音视频封装成FLV/TS)
1.5 推流:librtmp
2、服务端:可以简单了解
2.1 数据分发(CDN)
2.2 数据合法性的鉴定、版权保护、水印添加等等
2.3 实时转码
3、播放端:需要深入了解
3.1 音视频分离
3.2 音视频解码
音频解码 | 视频解码 | |
---|---|---|
原生 | AudioToolBox | VedioToolBox |
开源 | FFmpeg | FFmpeg |
3.3 音视频播放:ijkplayer(哔哩哔哩开源的视频播放器)、kxmovie、通过OpenGL ES渲染
短视频业务
上图来自:https://www.jianshu.com/p/5ae0bd506968