1,采集。2,滤镜处理。3,编码。4,推流。5,CDN分发。6,拉流。7,解码。8,播放。9,聊天互动。
其中1-4由LFLiveKit完成(2由GPUImage完成),5,就是搭建的服务器(或者买的服务器)。6-8由ijkplayer完成。
直播原理:把主播录制的视频,推送到服务器,在由服务器分发给观众观看。
直播环节:推流端(采集、美颜处理、编码、推流)、服务端处理(转码、录制、截图、鉴黄)、播放器(拉流、解码、渲染)、互动系统(聊天室、礼物系统、赞)
1,采集
AVFoundation:AVFoundation是用来播放和创建实时的视听媒体数据的框架,同时提供Objective-C接口来操作这些视听数据,比如编辑,旋转,重编码
2,滤镜处理
GPUImage: GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。
3,编码
对视频进行压缩(视频编码)或者解压缩(视频解码)的编码技术,比如MPEG,H.264,这些视频编码技术是压缩编码视频的
4,推流
librtmp:用来传输RTMP协议格式的数据,RTMP协议用于对象、视频、音频的传输。这个协议建立在TCP协议或者轮询HTTP协议之上。
5,CDN分发
流媒体开发:网络层(socket或st)负责传输,协议层(rtmp或hls)负责网络打包,封装层(flv、ts)负责编解码数据的封装,编码层(h.264和aac)负责图像,音频压缩。
常用服务器
SRS:一款国人开发的优秀开源流媒体服务器系统
BMS:也是一款流媒体服务器系统,但不开源,是SRS的商业版,比SRS功能更多
nginx:免费开源web服务器,常用来配置流媒体服务器。
数据分发
CDN:(Content Delivery Network),即内容分发网络,将网站的内容发布到最接近用户的网络”边缘”,使用户可以就近取得所需的内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度.
CDN:代理服务器,相当于一个中介。
CDN工作原理:比如请求流媒体数据
1.上传流媒体数据到服务器(源站)
2.源站存储流媒体数据
3.客户端播放流媒体,向CDN请求编码后的流媒体数据
4.CDN的服务器响应请求,若节点上没有该流媒体数据存在,则向源站继续请求流媒体数据;若节点上已经缓存了该视频文件,则跳到第6步。
5.源站响应CDN的请求,将流媒体分发到相应的CDN节点上
6.CDN将流媒体数据发送到客户端
6.拉流
直播协议选择:
7.解码
硬解码:用GPU来解码,减少CPU运算
优点:播放流畅、低功耗,解码速度快,
缺点:兼容不好
软解码:用CPU来解码
优点:兼容好
缺点:加大CPU负担,耗电增加、没有硬解码流畅,解码速度相对慢
8.播放
ijkplayer:一个基于FFmpeg的开源Android/iOS视频播放器
API易于集成;
编译配置可裁剪,方便控制安装包大小;
支持硬件加速解码,更加省电
简单易用,指定拉流URL,自动解码播放.
9.聊天互动
IM:(InstantMessaging)即时通讯:是一个实时通信系统,允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流.
IM在直播系统中的主要作用是实现观众与主播、观众与观众之间的文字互动.