MediaCodec class can be used to access low-level media codecs, i.e. encoder/decoder components. It is part of the Android low-level multimedia support infrastructure.
上面是MediaCodec的简介~~~
话不多说，直接上解码的流程图。
看着很复杂，其实都是顺序的步骤，需要代码的可以直接拉到最底下能看到全部代码，或者去github看完整代码。
MediaExtractor
如字面意思，多媒体提取器，它在Android的音视频开发里主要负责提取视频或者音频中的信息和数据流(例如将视频文件,剥离出音频与视频)，也就是提取&解封装。
初始化步骤：
- 设置文件path。
- 找到要处理的音频帧/视频帧的索引index。
- 选择要处理的帧，之后只会返回对应的帧信息。
MediaCodec
解码器作用就是解码，拿到MediaExtractor给的每一帧，解出可以显示或者处理的数据帧用来显示或者二次处理。
初始化步骤：
- 通过类型生成MediaCodec。
- 根据MediaExtractor得到的信息生成MediaFormat(当然手动生成也可以)配置。
- start进入running状态，准备解码
其实跟FFMpeg的解码顺序很像，拿到文件信息，解封装找到需要处理的音视频帧Index，根据帧Index生成对应的解码器，开始解码。
解码流程
MediaCodec的主要方法有下面几个：
-
dequeueInputBuffer()返回值是一个int值，这个值表示返回的是MediaCodec的第几个输入缓存。比如有4个InputBuffer，这个int可能会依次的0.1.2.3的顺序来返回，告诉我们可以往哪个buffe里面放数据，同时可以使用这个index得到一个ByteBuffer来放数据。 -
queueInputBuffer()将得到的ByteBuffer传给MediaExtractor，使用MediaExtractor将解码后的数据塞到ByteBuffer里面，之后再调用enqueue方法。 -
dequeueOutputBuffer()返回值作用用来标记当前的解码状态。 -
queueOutputBuffer()获取一个输出ByteBuffer，可以做相应处理。 -
releaseOutputBuffer()将之前获取的输出ByteBuffer释放掉，以供缓冲区的循环使用。
用到的MediaExtractor的方法主要有两个：
-
readSampleData()读取一帧数据交给MediaCodec解码。 -
advance()移动到下一帧，等待下一次read。
上面是播放的时候用到的主要的方法。这时候启动线程播放循环，就可以将画面显示在跟MediaCodec绑定的surface上了。
但很多时候我们并不限于仅仅是播放一个视频而已，这样的话跟用VideoView有啥区别？我们想拿到yuv数据，然后不管是后续保存还是做二次处理都很方便。
那么我们在调用MediaCodec.configure的时候就不能传surface，直接传null，同时可以指定YUV的格式:
videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
MediaCodec videoCodec = MediaCodec.createDecoderByType(videoMediaFormat.getString(MediaFormat.KEY_MIME));
videoCodec.configure(videoMediaFormat, null, null, 0);
videoCodec.start();
同时可以使用mediaCodec.getOutputImage得到一个Image，这样就可以得到YUV数据了，对Image不熟悉的可以移步Image中获得YUV数据及YUV格式理解，可以看到getDataFromImage方法。
int outputBufferIndex = videoCodec.dequeueOutputBuffer(videoBufferInfo, TIMEOUT_US);
switch (outputBufferIndex) {
...
default:
...
// 获取一个Image
Image image = videoCodec.getOutputImage(outputBufferIndex);
// 从Image中获取byte[]数据
byte[] i420bytes = CameraUtil.getDataFromImage(image, CameraUtil.COLOR_FormatI420);
FileUtils.writeToFile(i420bytes, yuvPath, true);
byte[] nv21bytes = BitmapUtil.I420Tonv21(i420bytes, width, height);
Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21bytes, width, height);
...
// 将该ByteBuffer释放掉，以供缓冲区的循环使用。
videoCodec.releaseOutputBuffer(outputBufferIndex, true);
break;
}
下面是完整代码，如果想看更完整的代码，可以点这里:AndroidMediaCodec
public class SimpleDecodeVideoPlayer {
public void init(String mp4Path, Surface surface) {
new Thread(() -> {
try {
initInternal(mp4Path, surface);
} catch (IOException e) {
LogUtil.d(MediaCodecUtil.TAG, e.toString());
e.printStackTrace();
}
}).start();
}
private void initInternal(String mp4Path, Surface surface) throws IOException {
if (TextUtils.isEmpty(mp4Path)) {
return;
}
MediaExtractor mediaExtractor = new MediaExtractor();
mediaExtractor.setDataSource(mp4Path);
MediaFormat videoMediaFormat = null;
int videoTrackIndex = -1;
for (int i = 0; i < mediaExtractor.getTrackCount(); i++) {
MediaFormat mediaFormat = mediaExtractor.getTrackFormat(i);
String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
if (mime.startsWith("video/")) {
videoMediaFormat = mediaFormat;
videoTrackIndex = i;
}
LogUtil.d(MediaCodecUtil.TAG, mime);
}
if (videoMediaFormat == null) {
return;
}
int width = videoMediaFormat.getInteger(MediaFormat.KEY_WIDTH);
int height = videoMediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
long time = videoMediaFormat.getLong(MediaFormat.KEY_DURATION);
LogUtil.d(MediaCodecUtil.TAG, "width::" + width + " height::" + height + " time::" + time);
// 只会返回此轨道的信息
mediaExtractor.selectTrack(videoTrackIndex);
// videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
MediaCodec videoCodec = MediaCodec.createDecoderByType(videoMediaFormat.getString(MediaFormat.KEY_MIME));
videoCodec.configure(videoMediaFormat, surface, null, 0);
videoCodec.start();
LogUtil.d(MediaCodecUtil.TAG, "getOutputFormat::" + videoCodec.getOutputFormat().toString());
MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
boolean isVideoEOS = false;
boolean end = false;
long startMs = System.currentTimeMillis();
while (!end) {
//将资源传递到解码器
if (!isVideoEOS) {
// dequeue:出列，拿到一个输入缓冲区的index，因为有好几个缓冲区来缓冲数据，所以需要先请求拿到一个InputBuffer的index，-1表示暂时没有可用的
int inputBufferIndex = videoCodec.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
// 使用返回的inputBuffer的index得到一个ByteBuffer，可以放数据了
ByteBuffer inputBuffer = videoCodec.getInputBuffer(inputBufferIndex);
// 使用extractor往MediaCodec的InputBuffer里面写入数据，-1表示已全部读取完
int sampleSize = mediaExtractor.readSampleData(inputBuffer, 0);
LogUtil.d(MediaCodecUtil.TAG, "inputBufferIndex::" + inputBufferIndex + " sampleSize::" + sampleSize + " mediaExtractor.getSampleTime()::" + mediaExtractor.getSampleTime());
if (sampleSize < 0) {
videoCodec.queueInputBuffer(inputBufferIndex, 0, 0, 0,
MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isVideoEOS = true;
} else {
// 填充好的数据写入第inputBufferIndex个InputBuffer，分贝设置size和sampleTime，这里sampleTime不一定是顺序来的，所以需要缓冲区来调节顺序。
videoCodec.queueInputBuffer(inputBufferIndex, 0, sampleSize,
mediaExtractor.getSampleTime(), 0);
// 在MediaExtractor执行完一次readSampleData方法后，需要调用advance()去跳到下一个sample，然后再次读取数据
mediaExtractor.advance();
isVideoEOS = false;
}
}
}
// 获取outputBuffer的index，
int outputBufferIndex = videoCodec.dequeueOutputBuffer(videoBufferInfo, 10000);
switch (outputBufferIndex) {
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " format changed");
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " 解码当前帧超时");
break;
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
//outputBuffers = videoCodec.getOutputBuffers();
LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " output buffers changed");
break;
default:
//直接渲染到Surface时使用不到outputBuffer
//ByteBuffer outputBuffer = videoCodec.getOutputBuffer(outputBufferIndex);
//如果缓冲区里的可展示时间>当前视频播放的进度，就休眠一下
sleepRender(videoBufferInfo, startMs);
// 将该ByteBuffer释放掉，以供缓冲区的循环使用。
videoCodec.releaseOutputBuffer(outputBufferIndex, true);
break;
}
if ((videoBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
LogUtil.v(MediaCodecUtil.TAG, "buffer stream end");
end = true;
}
}//end while
mediaExtractor.release();
videoCodec.stop();
videoCodec.release();
}
private void sleepRender(MediaCodec.BufferInfo audioBufferInfo, long startMs) {
while (audioBufferInfo.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
try {
Thread.sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
