FFmpeg處理音視頻流程

image.png

多媒體文件的基本概念
1、多媒體文件其實(shí)是個容器
2、在容器中有很多流
3、每種流是由不同的編碼器的。
4、從流中讀出的數(shù)據(jù)稱為包
5、在一個包中包含一個或多個幀

幾種重要的結(jié)構(gòu)體
1、AVFormatContext
2、AVStream
3、AVPacket

Ffmpeg操作流數(shù)據(jù)的基本操作

image.png

打印音視頻信息
1、av_register_all():將ffmpeg中的編解碼、注冊
2、avformat_open_input()/avformat_close_input
3、av_dump_format()

抽取音頻數(shù)據(jù)
1、av_init_packet():初始化一個數(shù)據(jù)包結(jié)構(gòu)體。
2、av_find_best_stream()
3、av_read_frame()/av_packet_unref()

中級開發(fā)內(nèi)容

1、H264解碼
2、H264編碼
3、AAC解碼
4、AAC編碼

1、添加頭文件
libavcodec/avcodec.h(編解碼庫)

2、常用的數(shù)據(jù)結(jié)構(gòu)體
AVCodec編碼器結(jié)構(gòu)體
AVCodecContext編輯器上下文
AVFrame解碼后的幀

3、結(jié)構(gòu)體內(nèi)存的分配與釋放
av_frame_alloc/av_frame_free()
avcodec_alloc_context()
avcodec_free_context()

4、解碼步驟
1、查找解碼器：avcodec_find_decoder
2、創(chuàng)造上下文
3、打開解碼器：avcodec_open2
4 、解碼：avcodec_decode_video2

5、H264編碼流程
1、查找解碼器：avcodec_find_encoder_by_name
2、創(chuàng)造上下文
3、設(shè)置編碼參數(shù)，并打開編碼器：avcodec_open2
4、編碼：avcodec_encode_video2

6、Ffmpng aac編碼
1、編碼的流程與視頻相同
2、編碼函數(shù)avcodec_encodec_audio2

1、編譯android下的ffmpeg的庫文件
2、在android中引入編譯好的動態(tài)庫

3、編寫CMakeLists.txt
1、android 自帶的庫

image.png

2、編寫自己的動態(tài)庫文件

image.png

3、引入ffmpeg動態(tài)庫
imported表示引入的庫

image.png

4、引入動態(tài)庫的頭文件

引入動態(tài)庫的頭文件

5、鏈接所有的庫生快native-lib庫

image.png