网易视频云技术分享:移动端播放器框架搭建

一、概述

目前,移动互联网技术飞速发展,影响着人们生活的各个方面。据有关数据统计,2016年中国的移动互联网用户数已经超过8亿。旅游,教育,购物,娱乐等方面都与之紧密联系。其中最火的当属移动直播,各种直播APP铺天盖地,而播放器是其中非常重要的部分,播放器的好坏直接影响到直播的用户体验。

如何打造一个适合移动直播的播放器呢?首先要保证功能强大,其次兼容性要好,能够适用于绝大多数的手机,最后要保证轻量级,因为移动设备的内存和磁盘容量都是有限的。

二、播放器框架

对于一个播放器来说,需要包含如下几个模块:

1、初始化模块

该模块中主要做一些初始化的工作,包括播放器实例的创建,消息机制和

线程的创建,以及相关全局变量的初始化。

2、输入模块

输入模块包含请求流媒体数据和对流媒体数据进行分解(Demux)两个部分。

对于移动直播,请求流媒体数据需要支持RTMP、HTTP和HLS协议。Demux模块需要支持诸如FLV、TS等格式的解析,并将分解后的音视频裸数据存放在相应的缓冲队列中,用于后续的解码。

3、解码模块

解码模块包含音频解码模块和视频解码模块,音视频解码需要分别在两个

线程中进行,从输入模块的缓冲队列中获取音视频裸数据,传入对应的解码器进行解码,并将解码后的音视频数据帧存入相应的队列中用于显示。其中解码可以采用软件解码和硬件解码两种方式:软件解码兼容性可容错性较好,但是耗CPU性能;硬件解码依赖于系统,Android采用MediaCodec(Android 4.1+),iOS采用VideoToolBox(iOS 8.0+)。兼容性和容错性较差,好处是不耗CPU。

5、显示模块

该模块主要将解码后的音视频数据帧展现出来。音频和视频的显示也是分别

由两个线程来执行,分别从解码后的音视频帧队列中获取音视频帧进行播放,Android端音频可以用AudioTrack或OpenSL ES进行播放,视频可以用NativeWindow和Surface进行播放;iOS端音频可以用AudioQueue或AudioUnit进行播放,视频可以用OpenGL ES进行播放。

6、事物处理模块

该模块主要是对播放器进行一些逻辑控制,比如暂停,播放,seek,截图等操作,以及一些播放过程中一些消息的反馈。


图1 播放器框架

三、说明

将上述6个模块有机的整合在一起,就可以完成一个播放器的开发,但是仅

仅这些还是不够的。由于移动设备的特殊性,我们可能在播放过程中突然来电,查看QQ、微信等消息,完成这些后希望播放还能够继续。这就需要播放器能够对这些操作有相应的应对措施。有些用户希望APP切入后台还能够继续播放,有些则不需要,这都需要我们做出相应的处理。并且移动设备的内存和磁盘空间较小,需要我们保证播放器功能完善的前提下包大小尽可能的小,我们可以对各个模块中所用到的处理引擎进行裁剪,只保留我们所需的功能,这样我们就可以保证APP的轻量级。

综上所述,我们不仅要保证底层音视频引擎高效的运转,也要保证上层逻辑处理能够满足移动设备的特性,这样我们就可以打造出一款功能完善,兼容性好的播放器。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,165评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,503评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,295评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,589评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,439评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,342评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,749评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,397评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,700评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,740评论 2 313
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,523评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,364评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,755评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,024评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,297评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,721评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,918评论 2 336

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,140评论 25 707
  • 现今移动直播技术上的挑战要远远难于传统设备或电脑直播,其完整的处理环节包括但不限于:音视频采集、美颜/滤镜/特效处...
    大荣纸阅读 8,069评论 5 22
  • 月光溜进我的眸子里 圆满的时候 我待你婚纱落地 残缺的时候 我待你长发及腰 你用冷艳 搅动我的激情 你白皙的酮体 ...
    冷冬年阅读 224评论 2 3
  • 我给身边人带来了无数的负能量。
    女巫鲨阅读 83评论 0 0
  • 又是一年中秋了,咱家却再无团圆。 两年前,您选择了这样一个中秋团圆的前夜,撇下我们走了,而我不曾见您最后一面,听您...
    熊小懒阅读 341评论 2 1