ExoPlayer簡(jiǎn)要分析

ExoPlayer使用可以參考:
https://exoplayer.dev/
一、ExoPlayer運(yùn)行流程
ExoPlayer的運(yùn)行流程是source->buffer->decoder->renderer。從視頻源讀取數(shù)據(jù)到buffer(使用SampleQueue來管理buffer),MediaCodec從buffer中取數(shù)據(jù)解碼后,交給renderer ,視頻使用 surface顯示,音頻使用AudioTrack 播放。 從視頻源里讀取數(shù)據(jù)并沒有采用MediaExtractor ,而是根據(jù)不同的視頻格式使用自己的Extractor,比如對(duì)于mp4文件,使用Mp4Extractor。對(duì)視頻renderer,封裝在MediaCodecVideoRenderer。對(duì)音頻播放,封裝在MediaCodecAudioRenderer。
二、ExoPlayer線程模型

exothread.png

ExoPlayer里有個(gè)Playback的HandlerThread,調(diào)用者在主線程通過Handler發(fā)消息,Playback線程處理消息,下面通過給視頻播放設(shè)置Surface看下消息傳遞流程。
ExoPlayer播放視頻使用PlayerView,PlayerView本質(zhì)使用TextureView,SurfaceView或GLSurfaceView這些View來顯示圖像。拿SurfaceView舉例,當(dāng)SurfaceView在UI上顯示時(shí),會(huì)回調(diào)surfaceCreated,在SimpleExoPlayer里注冊(cè)了一系列的回調(diào)監(jiān)聽,其中就有surfaceCreated,在surfaceCreated里調(diào)用了:

for (Renderer renderer : renderers) {
      if (renderer.getTrackType() == C.TRACK_TYPE_VIDEO) {
        messages.add(
            player
                .createMessage(renderer)
                .setType(Renderer.MSG_SET_SURFACE)
                .setPayload(surface)
                .send());
      }
    }

renderers里有視頻,音頻,字幕等renderer,這里只關(guān)注視頻renderder,如果是 視頻renderer,就封裝一個(gè)PlayerMessage發(fā)送出去??聪耤reateMessage怎生成PlayerMessage:

public PlayerMessage createMessage(Target target) {
    return new PlayerMessage(
        internalPlayer,\\ sender
        target,              \\target
        playbackInfo.timeline,
        getCurrentWindowIndex(),
        internalPlayerHandler);
  }

send()的調(diào)用:

 public PlayerMessage send() {
    sender.sendMessage(this);
    return this;
  }

可見PlayerMessage是通過internalPlayer發(fā)送,然后target(renderder)去接收。
internalPlayer其實(shí)就是ExoPlayerImplInternal,sendMessage源碼是 :

@Override
  public synchronized void sendMessage(PlayerMessage message) {
    handler.obtainMessage(MSG_SEND_MESSAGE, message).sendToTarget();
  }

hander是就是封裝后的HandlerWrapper,本質(zhì)使用Playback線程的looper,callback是ExoPlayerImplInternal自己,于是消息傳遞到ExoPlayerImplInternal的handleMessage方法,這時(shí)運(yùn)行在Playback線程中,handleMessage中處理msg.what為MSG_SEND_MESSAGE的方法是調(diào)用sendMessageInternal,轉(zhuǎn)了幾次后調(diào)用到deliverMessage:

 private void deliverMessage(PlayerMessage message) throws ExoPlaybackException {
    try {
      message.getTarget().handleMessage(message.getType(), message.getPayload());
    } finally {
      message.markAsProcessed(/* isDelivered= */ true);
    }
  }

message.getTarget就是之前的renderer,對(duì)于視頻,就是MediaCodecVideoRenderer,看看MediaCodecVideoRenderer的handleMessage:

@Override
  public void handleMessage(int messageType, @Nullable Object message) throws ExoPlaybackException {
    if (messageType == MSG_SET_SURFACE) {
      setSurface((Surface) message);
    } 
  }

  private void setSurface(Surface surface) throws ExoPlaybackException {
....
    setOutputSurfaceV23(codec, surface);
....
}
 protected void setOutputSurfaceV23(MediaCodec codec, Surface surface) {
    codec.setOutputSurface(surface);
  }

這里codec就是MediaCodec,調(diào)用了MediaCodec的setOutputSurface方法設(shè)置了surface。

三、事件監(jiān)聽
在SimpleExoPlayer構(gòu)造方法里有個(gè)componentListener成員變量,componentListener里面定義了各種事件,比如視頻相關(guān)的監(jiān)聽SurfaceHolder.Callback,VideoRendererEventListener,這些都在里面定義了。在SimpleExoPlayer里還有個(gè)renderers,renderers對(duì)應(yīng)視頻,音頻這些最終顯示或播放,SimpleExoPlayer把componentListener塞給了各個(gè)renderers。拿VideoRenderer為例,DefaultRenderersFactory里調(diào)用buildVideoRenderers:

 MediaCodecVideoRenderer videoRenderer =
        new MediaCodecVideoRenderer(
            context,
            mediaCodecSelector,
            allowedVideoJoiningTimeMs,
            enableDecoderFallback,
            eventHandler,
            eventListener,  //VideoRendererEventListener
            MAX_DROPPED_VIDEO_FRAME_COUNT_TO_NOTIFY);

這樣就把VideoRendererEventListener(也是componentListener)傳遞給了MediaCodecVideoRenderer,MediaCodecVideoRenderer把這個(gè)eventListener和eventHandler封裝成了EventDispatcher,EventDispatcher的作用是利用eventHandler使回調(diào)在相應(yīng)的線程中去執(zhí)行,一般在主線程里。
比如onRenderedFirstFrame事件,事件發(fā)生時(shí),MediaCodecVideoRenderer調(diào)用 eventDispatcher.renderedFirstFrame(surface); 通過handler在相應(yīng)線程里調(diào)用(listener).onRenderedFirstFrame(surface),實(shí)現(xiàn)了監(jiān)聽。

SimpleExoPlayer里對(duì)這些事件監(jiān)聽到了,怎么傳給UI層的PlayerView?看看SimpleExoPlayer里onRenderedFirstFrame對(duì)回調(diào)怎么處理的:

  private final CopyOnWriteArraySet<com.google.android.exoplayer2.video.VideoListener>
      videoListeners;
 public void onRenderedFirstFrame(Surface surface) {
      if (SimpleExoPlayer.this.surface == surface) {
        for (com.google.android.exoplayer2.video.VideoListener videoListener : videoListeners) {
          videoListener.onRenderedFirstFrame();
        }
      }
}
  @Override
  public void addVideoListener(com.google.android.exoplayer2.video.VideoListener listener) {
    // Don't verify application thread. We allow calls to this method from any thread.
    Assertions.checkNotNull(listener);
    videoListeners.add(listener);
  }

答案在PlayView里調(diào)用addVideoListener。如果要擴(kuò)展監(jiān)聽,只需要在相應(yīng)的listerner里加入新的事件。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容