android音视频学习之路四-MediaExtractor&MediaMuxer

一、写代码之前，先简单的对相关的几个类进行简单的了解

1.MediaExtractor

用于分离容器内的视频track和音频track,说直观点就是提取多路的，通常编码的视频资源。
主要API介绍：

setDataSource(String path)：即可以设置本地文件又可以设置网络文件
getTrackCount()：得到源文件通道数
getTrackFormat(int index)：获取指定（index）的通道格式
getSampleTime()：返回当前的时间戳
readSampleData(ByteBuffer byteBuf, int offset)：把指定通道中的数据按偏移量读取到ByteBuffer中；
advance()：读取下一帧数据
release(): 读取结束后释放资源

2.MediaMuxer

用于复用基本流，用它可以进行音频和视频的合成。目前支持输出MP4,Webm和3GP格式的视频，在android7.0以后支持复用帧的MP4。

在官方文档中，MediaMuxer仅支持一个音频track和视频track，所以如果有多个音频track，可以先将他们和为一个音频track然后再使用MediaMuxer封装到MP4容器中。

通常视频编码使用H.264（AVC）编码，音频编码使用AAC编码，在MediaFormat中我们可以看到各种格式的编码。

public static final String MIMETYPE_VIDEO_AVC = "video/avc";
public static final String MIMETYPE_AUDIO_AAC = "audio/mp4a-latm";
public static final String MIMETYPE_TEXT_CEA_608 = "text/cea-608";

上面各自摘取了视频，音频和声道d的一种编码格式
相关API介绍：

MediaMuxer(String path, int format)：path:输出文件的名称 format:输出文件的格式；当前只支持MP4格式；
addTrack(MediaFormat format)：添加通道；我们更多的是使用MediaCodec.getOutpurForma()或Extractor.getTrackFormat(int index)来获取MediaFormat;也可以自己创建；
start()：开始合成文件
writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)：把ByteBuffer中的数据写入到在构造器设置的文件中；
stop()：停止合成文件
release()：释放资源

3.MediaFormat

封装类，封装了描述媒体数据格式的信息，如音频或视频，通过它我们可以取出音频或者视频。比如：获取指定mime类型的媒体格式。

String type = mediaFormat.getString(MediaFormat.KEY_MIME);

接下来我利用MediaExtractor.getTrackFormat(int)打印了mediaformat的内容，下面简单的罗列一些：

csd-1=java.nio.HeapByteBuffer[pos=0 lim=8 cap=8]：csd参数在官方文档中叫Codec-specific Data，详细介绍可以看MediaCodec官方文档 - Codec-specific Data部分。对于H.264来说，"csd-0"和"csd-1"分别对应sps和pps；对于AAC来说，"csd-0"对应ADTS
, mime=video/avc ：MIME类型，媒体格式，比如此处的“video/”开头既指视频轨
, frame-rate=30：帧率，每秒显示的帧数
, track-id=1：轨道id 1为视频轨，2 为音轨
, width=1280：视频宽度
, height=720：视频高度
, max-input-size=154188：数据缓冲区最大大小（字节），是不是可以理解为视频轨的大小？？？
, durationUs=117150483：时间（戳），以微妙为单位
, csd-0=java.nio.HeapByteBuffer[pos=0 lim=28 cap=28]
, level=2048：等级，主要的有4个等级低级(LL),主级(ML)，1440高级H14L（High 1440 Level），高级HL（High Level）
, profile=8：是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大
>>>level&profile解释
其中在音轨中，还出现了（这几个在前面的作业2中有所介绍）：
bitrate=96000:指的是比特率，这值越高，越清晰
simple-rate=44100：音频采样率
channel-count=2：声道数

>>>MediaFormat API部分文档

二、完成作业4

使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件

第一步，定义目标视频路径

此处用一个网络连接作为源文件,定义输出目录mOutputVideoPath

private String netPath = "http://jdplay.lecloud.com/play.videocache.lecloud.com/187/28/92/letv-gug/14/ver_00_22-1051581402-avc-1507856-aac-96000-117151-23680505-2e0b3774490e51ac469db4313025b877-1466497857703.mp4?crypt=13aa7f2e25900&b=259&nlh=4096&nlt=60&bf=8000&p2p=1&video_type=mp4&termid=0&tss=no&platid=3&splatid=345&its=0&qos=3&fcheck=0&amltag=7&mltag=7&uid=3663232631.rp&keyitem=GOw_33YJAAbXYE-cnQwpfLlv_b2zAkYctFVqe5bsXQpaGNn3T1-vhw..&ntm=1553515800&nkey=f2230cd511223543acdd24e6cec84eff&nkey2=2479b45597488a767015d4251beb7875&auth_key=1553515800-1-0-3-345-37a8f78c20cee9b8cd9c0c9b7f7cebd2&geo=CN-23-323-1&mmsid=65565355&tm=1499247143&key=f0eadb4f30c404d49ff8ebad673d3742&playid=0&vtype=21&cvid=2026135183914&payff=0&sign=mb&dname=mobile&tag=mobile&xformat=super&uidx=0&errc=424&gn=50038&ndtype=2&vrtmcd=102&buss=7&cips=218.88.126.119";
private String mOutputVideoPath = Environment.getExternalStorageDirectory().getPath()+"/test.mp4";

第二步，定义方法用于解析和封装音视频文件

各种方法都进行了注释这儿就不赘述了

private void analysisAudioAndVideo() throws IOException{
        int mainAudioMaxInputSize = 0; //能获取的音频的最大值
        int frameMaxInputSize = 0; //能获取的视频的最大值
        int frameRate = 0; //视频的帧率

        if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.JELLY_BEAN_MR2) {

            MediaMuxer mMediaMuxer = new MediaMuxer(mOutputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            /**
             * 视频的MediaExtractor
             */
            MediaExtractor mVideoExtractor = new MediaExtractor();
            mVideoExtractor.setDataSource(netPath);
            int videoTrackIndex = -1; //视频轨
            for (int i=0;i<mVideoExtractor.getTrackCount();i++){//循环轨道数，获取需要的视频轨
                MediaFormat mediaFormat = mVideoExtractor.getTrackFormat(i); //得到指定索引的记录格式
                if (mediaFormat.getString(MediaFormat.KEY_MIME).startsWith("video/")){//指定mime类型的媒体格式作为筛选条件  String type = mediaFormat.getString(MediaFormat.KEY_MIME);
                    mVideoExtractor.selectTrack(i);//将提供视频的视频选择到视轨上
                    videoTrackIndex = mMediaMuxer.addTrack(mediaFormat);//将视轨添加到MediaMuxer，并返回新的轨道
                    frameMaxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);//得到能获取的有关视频的最大值
                        frameRate = mediaFormat.getInteger(MediaFormat.KEY_FRAME_RATE);//获取视频的帧率
                }
            }

            /**
             * 音频的MediaExtractor
             */
            MediaExtractor mAutioExtractor = new MediaExtractor();
            mAutioExtractor.setDataSource(netPath);
            int autioTrackIndex = -1;//音频轨
            for (int i=0;i<mAutioExtractor.getTrackCount();i++){//循环轨道数，获取需要的音频轨
                MediaFormat mediaFormat = mAutioExtractor.getTrackFormat(i);//得到指定索引的记录格式
                if (mediaFormat.getString(MediaFormat.KEY_MIME).startsWith("audio/")){//指定mime类型的媒体格式作为筛选条件 找到音轨
                    mAutioExtractor.selectTrack(i);//将提供音频的视频选择到音轨上
                    autioTrackIndex = mMediaMuxer.addTrack(mediaFormat);//将音轨添加到MediaMuxer，并返回新的轨道
                    mainAudioMaxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE); //得到能获取的有关音频的最大值
                }
            }

            //添加完毕所有轨道以后调用start()方法，后面不要忘记释放资源
            mMediaMuxer.start();

            //封装视频track
            if (-1 != videoTrackIndex) {
                MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
                info.presentationTimeUs = 0;
                ByteBuffer buffer = ByteBuffer.allocate(frameMaxInputSize);
                while (true) {
                    int sampleSize = mVideoExtractor.readSampleData(buffer, 0);//检索当前编码的样本并将其存储在字节缓冲区中
                    if (sampleSize < 0) {//如果没有可获取的样本则退出循环
                        break;
                    }
                    //设置样本编码信息
                    info.offset = 0;//必须填入数据的大小
                    info.size = sampleSize;
                    info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;// 需要给出是否为同步帧/关键帧
                    info.presentationTimeUs += 1000 * 1000 / frameRate;//必须给出正确的时间戳，注意单位是 us
                    Log.e("-----------",mVideoExtractor.getSampleTime()+"");
                    mMediaMuxer.writeSampleData(videoTrackIndex, buffer, info);//将样本写入
                    mVideoExtractor.advance(); //推进到下一个样本，类似快进
                }
            }

            // 封装音频track
            if (-1 != autioTrackIndex) {
                MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
                info.presentationTimeUs = 0;
                ByteBuffer buffer = ByteBuffer.allocate(mainAudioMaxInputSize);
                while (true) {
                    int sampleSize = mAutioExtractor.readSampleData(buffer, 0);
                    if (sampleSize < 0) {
                        break;
                    }
                    info.offset = 0;
                    info.size = sampleSize;
                    info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
                    info.presentationTimeUs = mAutioExtractor.getSampleTime();
                    mMediaMuxer.writeSampleData(autioTrackIndex, buffer, info);
                    mAutioExtractor.advance();
                }
            }
            // 释放MediaExtractor
            mVideoExtractor.release();
            mAutioExtractor.release();

            // 释放MediaMuxer
            mMediaMuxer.stop();
            mMediaMuxer.release();

            Log.e("---------------","合并完成!");
            button.setText("合并完成！");
        }

    }

第三步，使用

             try {
                    button.setText("合成中……");
                    analysisAudioAndVideo();
                } catch (IOException e) {
                    e.printStackTrace();
                    Log.e("-----------","异常"+e.toString());
                }

最后，播放合成的视频，视频地址就是我们的输出地址mOutputVideoPath

image.png

最后我试了一下，分别注释掉音轨解析或视频轨解析，分别能够播放没有声音的图像和没有图像的声音。

至于怎么播放的，此处直接用的VideoView，前面文章有写，不懂的小伙伴可以去瞅瞅。当然的权限就直接设置，动态设置就没高了比较懒。

    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

本文就到这儿,下面给出git地址
Demo地址
借鉴了几位大佬的帖子
https://blog.csdn.net/k_bb_666/article/details/79175510