ExoPlayer使用可以参考:
https://exoplayer.dev/
一、ExoPlayer运行流程
ExoPlayer的运行流程是source->buffer->decoder->renderer。从视频源读取数据到buffer(使用SampleQueue来管理buffer),MediaCodec从buffer中取数据解码后,交给renderer ,视频使用 surface显示,音频使用AudioTrack 播放。 从视频源里读取数据并没有采用MediaExtractor ,而是根据不同的视频格式使用自己的Extractor,比如对于mp4文件,使用Mp4Extractor。对视频renderer,封装在MediaCodecVideoRenderer。对音频播放,封装在MediaCodecAudioRenderer。
二、ExoPlayer线程模型
ExoPlayer里有个Playback的HandlerThread,调用者在主线程通过Handler发消息,Playback线程处理消息,下面通过给视频播放设置Surface看下消息传递流程。
ExoPlayer播放视频使用PlayerView,PlayerView本质使用TextureView,SurfaceView或GLSurfaceView这些View来显示图像。拿SurfaceView举例,当SurfaceView在UI上显示时,会回调surfaceCreated,在SimpleExoPlayer里注册了一系列的回调监听,其中就有surfaceCreated,在surfaceCreated里调用了:
for (Renderer renderer : renderers) {
if (renderer.getTrackType() == C.TRACK_TYPE_VIDEO) {
messages.add(
player
.createMessage(renderer)
.setType(Renderer.MSG_SET_SURFACE)
.setPayload(surface)
.send());
}
}
renderers里有视频,音频,字幕等renderer,这里只关注视频renderder,如果是 视频renderer,就封装一个PlayerMessage发送出去。看下createMessage怎生成PlayerMessage:
public PlayerMessage createMessage(Target target) {
return new PlayerMessage(
internalPlayer,\\ sender
target, \\target
playbackInfo.timeline,
getCurrentWindowIndex(),
internalPlayerHandler);
}
send()的调用:
public PlayerMessage send() {
sender.sendMessage(this);
return this;
}
可见PlayerMessage是通过internalPlayer发送,然后target(renderder)去接收。
internalPlayer其实就是ExoPlayerImplInternal,sendMessage源码是 :
@Override
public synchronized void sendMessage(PlayerMessage message) {
handler.obtainMessage(MSG_SEND_MESSAGE, message).sendToTarget();
}
hander是就是封装后的HandlerWrapper,本质使用Playback线程的looper,callback是ExoPlayerImplInternal自己,于是消息传递到ExoPlayerImplInternal的handleMessage方法,这时运行在Playback线程中,handleMessage中处理msg.what为MSG_SEND_MESSAGE的方法是调用sendMessageInternal,转了几次后调用到deliverMessage:
private void deliverMessage(PlayerMessage message) throws ExoPlaybackException {
try {
message.getTarget().handleMessage(message.getType(), message.getPayload());
} finally {
message.markAsProcessed(/* isDelivered= */ true);
}
}
message.getTarget就是之前的renderer,对于视频,就是MediaCodecVideoRenderer,看看MediaCodecVideoRenderer的handleMessage:
@Override
public void handleMessage(int messageType, @Nullable Object message) throws ExoPlaybackException {
if (messageType == MSG_SET_SURFACE) {
setSurface((Surface) message);
}
}
private void setSurface(Surface surface) throws ExoPlaybackException {
....
setOutputSurfaceV23(codec, surface);
....
}
protected void setOutputSurfaceV23(MediaCodec codec, Surface surface) {
codec.setOutputSurface(surface);
}
这里codec就是MediaCodec,调用了MediaCodec的setOutputSurface方法设置了surface。
三、事件监听
在SimpleExoPlayer构造方法里有个componentListener成员变量,componentListener里面定义了各种事件,比如视频相关的监听SurfaceHolder.Callback,VideoRendererEventListener,这些都在里面定义了。在SimpleExoPlayer里还有个renderers,renderers对应视频,音频这些最终显示或播放,SimpleExoPlayer把componentListener塞给了各个renderers。拿VideoRenderer为例,DefaultRenderersFactory里调用buildVideoRenderers:
MediaCodecVideoRenderer videoRenderer =
new MediaCodecVideoRenderer(
context,
mediaCodecSelector,
allowedVideoJoiningTimeMs,
enableDecoderFallback,
eventHandler,
eventListener, //VideoRendererEventListener
MAX_DROPPED_VIDEO_FRAME_COUNT_TO_NOTIFY);
这样就把VideoRendererEventListener(也是componentListener)传递给了MediaCodecVideoRenderer,MediaCodecVideoRenderer把这个eventListener和eventHandler封装成了EventDispatcher,EventDispatcher的作用是利用eventHandler使回调在相应的线程中去执行,一般在主线程里。
比如onRenderedFirstFrame事件,事件发生时,MediaCodecVideoRenderer调用 eventDispatcher.renderedFirstFrame(surface); 通过handler在相应线程里调用(listener).onRenderedFirstFrame(surface),实现了监听。
SimpleExoPlayer里对这些事件监听到了,怎么传给UI层的PlayerView?看看SimpleExoPlayer里onRenderedFirstFrame对回调怎么处理的:
private final CopyOnWriteArraySet<com.google.android.exoplayer2.video.VideoListener>
videoListeners;
public void onRenderedFirstFrame(Surface surface) {
if (SimpleExoPlayer.this.surface == surface) {
for (com.google.android.exoplayer2.video.VideoListener videoListener : videoListeners) {
videoListener.onRenderedFirstFrame();
}
}
}
@Override
public void addVideoListener(com.google.android.exoplayer2.video.VideoListener listener) {
// Don't verify application thread. We allow calls to this method from any thread.
Assertions.checkNotNull(listener);
videoListeners.add(listener);
}
答案在PlayView里调用addVideoListener。如果要扩展监听,只需要在相应的listerner里加入新的事件。