【Android 音視頻開發(fā)打怪升級(jí)：音視頻硬解碼篇】四、音視頻解封和封裝：生成一個(gè)MP4

【聲 明】

首先，這一系列文章均基于自己的理解和實(shí)踐，可能有不對(duì)的地方，歡迎大家指正。
其次，這是一個(gè)入門系列，涉及的知識(shí)也僅限于夠用，深入的知識(shí)網(wǎng)上也有許許多多的博文供大家學(xué)習(xí)了。
最后，寫文章過程中，會(huì)借鑒參考其他人分享的文章，會(huì)在文章最后列出，感謝這些作者的分享。

碼字不易，轉(zhuǎn)載請注明出處！

教程代碼：【Github傳送門】

目錄

一、Android音視頻硬解碼篇：
二、使用OpenGL渲染視頻畫面篇
三、Android FFmpeg音視頻解碼篇
  • 1，F(xiàn)Fmpeg so庫編譯
  • 2，Android 引入FFmpeg
  • 3，Android FFmpeg視頻解碼播放
  • 4，Android FFmpeg＋OpenSL ES音頻解碼播放
  • 5，Android FFmpeg＋OpenGL ES播放視頻
  • 6，Android FFmpeg簡單合成MP4：視屏解封與重新封裝
  • 7，Android FFmpeg視頻編碼

本文你可以了解到

本文主要講解音視頻的解封和封裝過程，但不涉及音視頻的編解碼，涉及到音視頻編解碼的完整流程，將在下一篇章講解完OpenGL后。主要是對(duì)音視頻的重新封裝有個(gè)基本了解。

一、音視頻解封

在本篇章的第二篇文章【音視頻硬解碼流程】，已經(jīng)講過，Android使用的是MediaExtractor對(duì)音視頻數(shù)據(jù)流進(jìn)行解封。這里，我們簡單再過一遍。

  • 第一步，初始化MediaExtractor
init {
    mExtractor = MediaExtractor()
    mExtractor?.setDataSource(path)
}
  • 第二步，獲取音頻或視頻的格式
/**
 * 獲取視頻格式參數(shù)
 */
fun getVideoFormat(): MediaFormat? {
    for (i in 0 until mExtractor!!.trackCount) {
        val mediaFormat = mExtractor!!.getTrackFormat(i)
        val mime = mediaFormat.getString(MediaFormat.KEY_MIME)
        if (mime.startsWith("video/")) {
            mVideoTrack = i
            break
        }
    }
    return if (mVideoTrack >= 0)
        mExtractor!!.getTrackFormat(mVideoTrack)
    else null
}

/**
 * 獲取音頻格式參數(shù)
 */
fun getAudioFormat(): MediaFormat? {
    for (i in 0 until mExtractor!!.trackCount) {
        val mediaFormat = mExtractor!!.getTrackFormat(i)
        val mime = mediaFormat.getString(MediaFormat.KEY_MIME)
        if (mime.startsWith("audio/")) {
            mAudioTrack = i
            break
        }
    }
    return if (mAudioTrack >= 0) {
        mExtractor!!.getTrackFormat(mAudioTrack)
    } else null
}
  • 第三步，讀取（分離）音視頻數(shù)據(jù)
/**
 * 讀取音視頻數(shù)據(jù)
 */
fun readBuffer(byteBuffer: ByteBuffer): Int {
    byteBuffer.clear()
    selectSourceTrack()
    var readSampleCount = mExtractor!!.readSampleData(byteBuffer, 0)
    if (readSampleCount < 0) {
        return -1
    }
    //記錄當(dāng)前幀的時(shí)間戳
    mCurSampleTime = mExtractor!!.sampleTime
    //進(jìn)入下一幀
    mExtractor!!.advance()
    return readSampleCount
}

/**
 * 選擇通道
 */
private fun selectSourceTrack() {
    if (mVideoTrack >= 0) {
        mExtractor!!.selectTrack(mVideoTrack)
    } else if (mAudioTrack >= 0) {
        mExtractor!!.selectTrack(mAudioTrack)
    }
}

二、音視頻封裝

Android原生提供了一個(gè)封裝器MediaMuxer，用于將已經(jīng)編碼好的音視頻流數(shù)據(jù)封裝到指定格式的文件中，MediaMuxer支持MP4、Webm、3GP三種封裝格式。一般使用MP4格式。

使用也比較簡單，同樣分為幾個(gè)步驟：

  • 第一步，初始化

class MMuxer {
    private val TAG = "MMuxer"

    private var mPath: String

    private var mMediaMuxer: MediaMuxer? = null

    private var mVideoTrackIndex = -1
    private var mAudioTrackIndex = -1

    private var mIsAudioTrackAdd = false
    private var mIsVideoTrackAdd = false

    private var mIsStart = false

    init {
        val fileName = "LVideo_" + SimpleDateFormat("yyyyMM_dd-HHmmss").format(Date()) + ".mp4"
        val filePath = Environment.getExternalStorageDirectory().absolutePath.toString() + "/"
        mPath = filePath + fileName
        mMediaMuxer = MediaMuxer(mPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
    }
    
    //......
}

這里指定了視頻并保存路徑和保存的格式。

  • 第二步，添加音視頻軌道，設(shè)置音視頻數(shù)據(jù)流格式，并啟動(dòng)封裝器
class MMuxer {

    //......
    
    fun addVideoTrack(mediaFormat: MediaFormat) {
        if (mMediaMuxer != null) {
            mVideoTrackIndex = try {
                mMediaMuxer!!.addTrack(mediaFormat)
            } catch (e: Exception) {
                e.printStackTrace()
                return
            }
            mIsVideoTrackAdd = true
            startMuxer()
        }
    }

    fun addAudioTrack(mediaFormat: MediaFormat) {
        if (mMediaMuxer != null) {
            mAudioTrackIndex = try {
                mMediaMuxer!!.addTrack(mediaFormat)
            } catch (e: Exception) {
                e.printStackTrace()
                return
            }
            mIsAudioTrackAdd = true
            startMuxer()
        }
    }
    
    /**
     *忽略音頻軌道
     */
    fun setNoAudio() {
        if (mIsAudioTrackAdd) return
        mIsAudioTrackAdd = true
        startMuxer()
    }

    /**
     *忽略視頻軌道
     */
    fun setNoVideo() {
        if (mIsVideoTrackAdd) return
        mIsVideoTrackAdd = true
        startMuxer()
    }
    
    private fun startMuxer() {
        if (mIsAudioTrackAdd && mIsVideoTrackAdd) {
            mMediaMuxer?.start()
            mIsStart = true
            Log.i(TAG, "啟動(dòng)混合器，等待數(shù)據(jù)輸入...")
        }
    }

    
    //......
}

在開啟封裝器前，首先需要設(shè)置音視頻對(duì)應(yīng)的數(shù)據(jù)格式，這個(gè)格式來源于音視頻解封獲取的那個(gè)MediaFormat，即

MMExtractor#getVideoFormat()

MMExtractor#getAudioFormat()

通過mMediaMuxer!!.addTrack(mediaFormat)后，會(huì)返回音視頻數(shù)據(jù)對(duì)應(yīng)的軌道索引，用于封裝數(shù)據(jù)時(shí)，將數(shù)據(jù)寫到正確的數(shù)據(jù)軌道中。

最后，判斷音視頻軌道是否都已經(jīng)配置完畢，啟動(dòng)封裝器。

  • 第三步，寫入數(shù)據(jù)，也很簡單，將解封得到的數(shù)據(jù)寫入即可。
class MMuexer {
    
    //......
    
    fun writeVideoData(byteBuffer: ByteBuffer, bufferInfo: MediaCodec.BufferInfo) {
        if (mIsStart) {
            mMediaMuxer?.writeSampleData(mVideoTrackIndex, byteBuffer, bufferInfo)
        }
    }

    fun writeAudioData(byteBuffer: ByteBuffer, bufferInfo: MediaCodec.BufferInfo) {
        if (mIsStart) {
            mMediaMuxer?.writeSampleData(mAudioTrackIndex, byteBuffer, bufferInfo)
        }
    }
    
    //......
}
  • 第四步，釋放封裝器，完成封裝過程

==這一步非常重要，必須要釋放之后，才能生成可用的完整的MP4文件==

class MMuxer {

    //......
    
    fun release() {
        mIsAudioTrackAdd = false
        mIsVideoTrackAdd = false
        try {
            mMediaMuxer?.stop()
            mMediaMuxer?.release()
            mMediaMuxer = null
            Log.i(TAG, "混合器退出...")
        } catch (e: Exception) {
            e.printStackTrace()
        }
    }
    
    //......
}

三、整合解封和封裝流程

通過上面兩個(gè)步驟，就已經(jīng)完成了最基本的工具封裝，接下來只需要將它們整合起來就可以了。

新建一個(gè)重打包類MP4Repack


class MP4Repack(path: String) {

    private val TAG = "MP4Repack"

    //初始化音視頻分離器
    private val mAExtractor: AudioExtractor = AudioExtractor(path)
    private val mVExtractor: VideoExtractor = VideoExtractor(path)
    
    //初始化封裝器
    private val mMuxer: MMuxer = MMuxer()

    /**
     *啟動(dòng)重封裝
     */
    fun start() {
        val audioFormat = mAExtractor.getFormat()
        val videoFormat = mVExtractor.getFormat()

        //判斷是否有音頻數(shù)據(jù)，沒有音頻數(shù)據(jù)則告訴封裝器，忽略音頻軌道
        if (audioFormat != null) {
            mMuxer.addAudioTrack(audioFormat)
        } else {
            mMuxer.setNoAudio()
        }
        //判斷是否有視頻數(shù)據(jù)，沒有音頻數(shù)據(jù)則告訴封裝器，忽略視頻軌道
        if (videoFormat != null) {
            mMuxer.addVideoTrack(videoFormat)
        } else {
            mMuxer.setNoVideo()
        }

        //啟動(dòng)線程
        Thread {
            val buffer = ByteBuffer.allocate(500 * 1024)
            val bufferInfo = MediaCodec.BufferInfo()
            
            //音頻數(shù)據(jù)分離和寫入
            if (audioFormat != null) {
                var size = mAExtractor.readBuffer(buffer)
                while (size > 0) {
                    bufferInfo.set(0, size, mAExtractor.getCurrentTimestamp(),
                                   mAExtractor.getSampleFlag())
                                   
                    mMuxer.writeAudioData(buffer, bufferInfo)
                    
                    size = mAExtractor.readBuffer(buffer)
                }
            }
            
            //視頻數(shù)據(jù)分離和寫入
            if (videoFormat != null) {
                var size = mVExtractor.readBuffer(buffer)
                while (size > 0) {
                    bufferInfo.set(0, size, mVExtractor.getCurrentTimestamp(),
                                   mVExtractor.getSampleFlag())
                                   
                    mMuxer.writeVideoData(buffer, bufferInfo)
                    
                    size = mVExtractor.readBuffer(buffer)
                }
            }
            mAExtractor.stop()
            mVExtractor.stop()
            mMuxer.release()
            Log.i(TAG, "MP4 重打包完成")
        }.start()
    }
}

首先，定義了音頻和視頻分離器，以及封裝器；

接著，判斷要重封裝的視頻是否包含有音視頻數(shù)據(jù)，沒有則忽略相應(yīng)的軌道；

最后，啟動(dòng)線程，開始解封和封裝，分為兩部分：

  1. 音頻數(shù)據(jù)分離和寫入
  2. 視頻數(shù)據(jù)分離和寫入

其中有一個(gè)要注意的就是BufferInfo的參數(shù)

val bufferInfo = MediaCodec.BufferInfo()

bufferInfo.set(0, size, mVExtractor.getCurrentTimestamp(),
                mVExtractor.getSampleFlag())

第一個(gè)為offset，一般為0
第二個(gè)為數(shù)據(jù)大小，就是Extractor提取的當(dāng)前幀的數(shù)據(jù)大小
第三個(gè)為當(dāng)前幀對(duì)應(yīng)的時(shí)間戳，這個(gè)時(shí)間戳非常重要，影響到視頻能不能正常播放，通過Extractor獲取
第四個(gè)為當(dāng)前幀類型，如視頻I/P/B幀，也可通過Extractor獲取

四、調(diào)用MediaRepack重封裝工具實(shí)現(xiàn)重封裝

調(diào)用就非常簡單了，如下：

private fun repack() {
    val path = Environment.getExternalStorageDirectory().absolutePath + "/mvtest_2.mp4"

    val repack = MP4Repack(path)
    repack.start()
}

到這里，本篇章【音視頻硬解碼篇】系列文章就結(jié)束了，本系列共四篇文章，從【音視頻基礎(chǔ)知識(shí)介紹】->【Android音解碼流程】->【音視頻播放與同步】->【視頻解封與封裝】，比較全面的介紹了Android應(yīng)用系統(tǒng)提供的硬解碼能力，實(shí)現(xiàn)音視頻的解碼。

接下來，將進(jìn)入OpenGL渲染篇系列文章，將進(jìn)一步介紹音視頻渲染、重編碼、封裝等內(nèi)容，敬請關(guān)注。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
禁止轉(zhuǎn)載，如需轉(zhuǎn)載請通過簡信或評(píng)論聯(lián)系作者。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容