精品久久毛豆,99精品大香蕉,麻豆成人一区

vx 搜索『gjzkeyframe』關(guān)注『關(guān)鍵幀Keyframe』來及時(shí)獲得最新的音視頻技術(shù)文章。

莫奈《楊樹》

iOS/Android 客戶端開發(fā)同學(xué)如果想要開始學(xué)習(xí)音視頻開發(fā)，最絲滑的方式是對(duì)音視頻基礎(chǔ)概念知識(shí)有一定了解后，再借助 iOS/Android 平臺(tái)的音視頻能力上手去實(shí)踐音視頻的采集 → 編碼 → 封裝 → 解封裝 → 解碼 → 渲染過程，并借助音視頻工具來分析和理解對(duì)應(yīng)的音視頻數(shù)據(jù)。

在音視頻工程示例這個(gè)欄目，我們將通過拆解采集 → 編碼 → 封裝 → 解封裝 → 解碼 → 渲染流程并實(shí)現(xiàn) Demo 來向大家介紹如何在 iOS/Android 平臺(tái)上手音視頻開發(fā)。

這里是第十篇：iOS 視頻解封裝 Demo。這個(gè) Demo 里包含以下內(nèi)容：

1）實(shí)現(xiàn)一個(gè)視頻解封裝模塊；
2）實(shí)現(xiàn)對(duì) MP4 文件中視頻部分的解封裝邏輯并將解封裝后的編碼數(shù)據(jù)存儲(chǔ)為 H.264/H.265 文件；
3）詳盡的代碼注釋，幫你理解代碼邏輯和原理。

在本文中，我們將詳解一下 Demo 的具體實(shí)現(xiàn)和源碼。讀完本文內(nèi)容相信就能幫你掌握相關(guān)知識(shí)。

不過，如果你的需求是：1）直接獲得全部工程源碼；2）想進(jìn)一步咨詢音視頻技術(shù)問題；3）咨詢音視頻職業(yè)發(fā)展問題?？梢愿鶕?jù)自己的需要考慮是否加入『關(guān)鍵幀的音視頻開發(fā)圈』，這是一個(gè)收費(fèi)的社群服務(wù)，目前還有少量優(yōu)惠券可用。vx 搜索『gjzkeyframe』關(guān)注『關(guān)鍵幀Keyframe』咨詢，或知識(shí)星球搜『關(guān)鍵幀的音視頻開發(fā)圈』即可加入。

1、視頻解封裝模塊

視頻解封裝模塊即 KFMP4Demuxer，復(fù)用了《iOS 音頻解封裝 Demo》中介紹的 demuxer，這里就不再重復(fù)介紹了，其接口如下：

KFMP4Demuxer.h

#import <Foundation/Foundation.h>
#import <CoreMedia/CoreMedia.h>
#import "KFDemuxerConfig.h"

NS_ASSUME_NONNULL_BEGIN

typedef NS_ENUM(NSInteger, KFMP4DemuxerStatus) {
    KFMP4DemuxerStatusUnknown = 0,
    KFMP4DemuxerStatusRunning = 1,
    KFMP4DemuxerStatusFailed = 2,
    KFMP4DemuxerStatusCompleted = 3,
    KFMP4DemuxerStatusCancelled = 4,
};

@interface KFMP4Demuxer : NSObject
+ (instancetype)new NS_UNAVAILABLE;
- (instancetype)init NS_UNAVAILABLE;
- (instancetype)initWithConfig:(KFDemuxerConfig *)config;

@property (nonatomic, strong, readonly) KFDemuxerConfig *config;
@property (nonatomic, copy) void (^errorCallBack)(NSError *error);
@property (nonatomic, assign, readonly) BOOL hasAudioTrack; // 是否包含音頻數(shù)據(jù)。
@property (nonatomic, assign, readonly) BOOL hasVideoTrack; // 是否包含視頻數(shù)據(jù)。
@property (nonatomic, assign, readonly) CGSize videoSize; // 視頻大小。
@property (nonatomic, assign, readonly) CMTime duration; // 媒體時(shí)長。
@property (nonatomic, assign, readonly) CMVideoCodecType codecType; // 編碼類型。
@property (nonatomic, assign, readonly) KFMP4DemuxerStatus demuxerStatus; // 解封裝器狀態(tài)。
@property (nonatomic, assign, readonly) BOOL audioEOF; // 是否音頻結(jié)束。
@property (nonatomic, assign, readonly) BOOL videoEOF; // 是否視頻結(jié)束。
@property (nonatomic, assign, readonly) CGAffineTransform preferredTransform; // 圖像的變換信息。比如：視頻圖像旋轉(zhuǎn)。

- (void)startReading:(void (^)(BOOL success, NSError *error))completeHandler; // 開始讀取數(shù)據(jù)解封裝。
- (void)cancelReading; // 取消讀取。

- (BOOL)hasAudioSampleBuffer; // 是否還有音頻數(shù)據(jù)。
- (CMSampleBufferRef)copyNextAudioSampleBuffer CF_RETURNS_RETAINED; // 拷貝下一份音頻采樣。

- (BOOL)hasVideoSampleBuffer; // 是否還有視頻數(shù)據(jù)。
- (CMSampleBufferRef)copyNextVideoSampleBuffer CF_RETURNS_RETAINED; // 拷貝下一份視頻采樣。
@end

NS_ASSUME_NONNULL_END

解封裝 MP4 文件中的視頻部分存儲(chǔ)為 H.264/H.265 文件

我們還是在一個(gè) ViewController 中來實(shí)現(xiàn)對(duì)一個(gè) MP4 文件解封裝、獲取其中的視頻編碼數(shù)據(jù)并存儲(chǔ)為 H.264/H.265 文件。

KFVideoDemuxerViewController.m


#import "KFVideoDemuxerViewController.h"
#import "KFMP4Demuxer.h"

@interface KFVideoPacketExtraData : NSObject
@property (nonatomic, strong) NSData *sps;
@property (nonatomic, strong) NSData *pps;
@property (nonatomic, strong) NSData *vps;
@end

@implementation KFVideoPacketExtraData
@end

@interface KFVideoDemuxerViewController ()
@property (nonatomic, strong) KFDemuxerConfig *demuxerConfig;
@property (nonatomic, strong) KFMP4Demuxer *demuxer;
@property (nonatomic, strong) NSFileHandle *fileHandle;
@end

@implementation KFVideoDemuxerViewController
#pragma mark - Property
- (KFDemuxerConfig *)demuxerConfig {
    if (!_demuxerConfig) {
        _demuxerConfig = [[KFDemuxerConfig alloc] init];
        // 只解封裝視頻。
        _demuxerConfig.demuxerType = KFMediaVideo;
        // 待解封裝的資源。
        NSString *videoPath = [[NSBundle mainBundle] pathForResource:@"input" ofType:@"mp4"];
        _demuxerConfig.asset = [AVAsset assetWithURL:[NSURL fileURLWithPath:videoPath]];
    }
    
    return _demuxerConfig;
}

- (KFMP4Demuxer*)demuxer {
    if (!_demuxer) {
        _demuxer = [[KFMP4Demuxer alloc] initWithConfig:self.demuxerConfig];
        _demuxer.errorCallBack = ^(NSError* error) {
            NSLog(@"KFMP4Demuxer error:%zi %@", error.code, error.localizedDescription);
        };
    }
    
    return _demuxer;
}

- (NSFileHandle *)fileHandle {
    if (!_fileHandle) {
        NSString *videoPath = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) lastObject] stringByAppendingPathComponent:@"output.h264"];
        [[NSFileManager defaultManager] removeItemAtPath:videoPath error:nil];
        [[NSFileManager defaultManager] createFileAtPath:videoPath contents:nil attributes:nil];
        _fileHandle = [NSFileHandle fileHandleForWritingAtPath:videoPath];
    }

    return _fileHandle;
}

#pragma mark - Lifecycle
- (void)viewDidLoad {
    [super viewDidLoad];

    self.view.backgroundColor = [UIColor whiteColor];
    self.title = @"Video Demuxer";
    UIBarButtonItem *startBarButton = [[UIBarButtonItem alloc] initWithTitle:@"Start" style:UIBarButtonItemStylePlain target:self action:@selector(start)];
    self.navigationItem.rightBarButtonItems = @[startBarButton];
}

#pragma mark - Action
- (void)start {
    __weak typeof(self) weakSelf = self;
    NSLog(@"KFMP4Demuxer start");
    [self.demuxer startReading:^(BOOL success, NSError * _Nonnull error) {
        if (success) {
            // Demuxer 啟動(dòng)成功后，就可以從它里面獲取解封裝后的數(shù)據(jù)了。
            [weakSelf fetchAndSaveDemuxedData];
        } else {
            NSLog(@"KFMP4Demuxer error: %zi %@", error.code, error.localizedDescription);
        }
    }];
}

#pragma mark - Utility
- (void)fetchAndSaveDemuxedData {
    // 異步地從 Demuxer 獲取解封裝后的 H.264/H.265 編碼數(shù)據(jù)。
    dispatch_async(dispatch_get_global_queue(0, 0), ^{
        while (self.demuxer.hasVideoSampleBuffer) {
            CMSampleBufferRef videoBuffer = [self.demuxer copyNextVideoSampleBuffer];
            if (videoBuffer) {
                [self saveSampleBuffer:videoBuffer];
                CFRelease(videoBuffer);
            }
        }
        if (self.demuxer.demuxerStatus == KFMP4DemuxerStatusCompleted) {
            NSLog(@"KFMP4Demuxer complete");
        }
    });
}

- (KFVideoPacketExtraData *)getPacketExtraData:(CMSampleBufferRef)sampleBuffer {
    // 從 CMSampleBuffer 中獲取 extra data。
    if (!sampleBuffer) {
        return nil;
    }
    
    // 獲取編碼類型。
    CMVideoCodecType codecType = CMVideoFormatDescriptionGetCodecType(CMSampleBufferGetFormatDescription(sampleBuffer));
    
    KFVideoPacketExtraData *extraData = nil;
    if (codecType == kCMVideoCodecType_H264) {
        // 獲取 H.264 的 extra data：sps、pps。
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
        size_t sparameterSetSize, sparameterSetCount;
        const uint8_t *sparameterSet;
        OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0);
        if (statusCode == noErr) {
            size_t pparameterSetSize, pparameterSetCount;
            const uint8_t *pparameterSet;
            OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0);
            if (statusCode == noErr) {
                extraData = [[KFVideoPacketExtraData alloc] init];
                extraData.sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
                extraData.pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
            }
        }
    } else if (codecType == kCMVideoCodecType_HEVC) {
        // 獲取 H.265 的 extra data：vps、sps、pps。
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
        size_t vparameterSetSize, vparameterSetCount;
        const uint8_t *vparameterSet;
        if (@available(iOS 11.0, *)) {
            OSStatus statusCode = CMVideoFormatDescriptionGetHEVCParameterSetAtIndex(format, 0, &vparameterSet, &vparameterSetSize, &vparameterSetCount, 0);
            if (statusCode == noErr) {
                size_t sparameterSetSize, sparameterSetCount;
                const uint8_t *sparameterSet;
                OSStatus statusCode = CMVideoFormatDescriptionGetHEVCParameterSetAtIndex(format, 1, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0);
                if (statusCode == noErr) {
                    size_t pparameterSetSize, pparameterSetCount;
                    const uint8_t *pparameterSet;
                    OSStatus statusCode = CMVideoFormatDescriptionGetHEVCParameterSetAtIndex(format, 2, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0);
                    if (statusCode == noErr) {
                        extraData = [[KFVideoPacketExtraData alloc] init];
                        extraData.vps = [NSData dataWithBytes:vparameterSet length:vparameterSetSize];
                        extraData.sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
                        extraData.pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
                    }
                }
            }
        } else {
            // 其他編碼格式。
        }
    }
    
    return extraData;
}

- (BOOL)isKeyFrame:(CMSampleBufferRef)sampleBuffer {
    CFArrayRef array = CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true);
    if (!array) {
        return NO;
    }
    
    CFDictionaryRef dic = (CFDictionaryRef)CFArrayGetValueAtIndex(array, 0);
    if (!dic) {
        return NO;
    }
    
    // 檢測(cè) sampleBuffer 是否是關(guān)鍵幀。
    BOOL keyframe = !CFDictionaryContainsKey(dic, kCMSampleAttachmentKey_NotSync);
    
    return keyframe;
}

- (void)saveSampleBuffer:(CMSampleBufferRef)sampleBuffer {
    // 將編碼數(shù)據(jù)存儲(chǔ)為文件。
    // iOS 的 VideoToolbox 編碼和解碼只支持 AVCC/HVCC 的碼流格式。但是 Android 的 MediaCodec 只支持 AnnexB 的碼流格式。這里我們做一下兩種格式的轉(zhuǎn)換示范，將 AVCC/HVCC 格式的碼流轉(zhuǎn)換為 AnnexB 再存儲(chǔ)。
    // 1、AVCC/HVCC 碼流格式：[extradata]|[length][NALU]|[length][NALU]|...
    // VPS、SPS、PPS 不用 NALU 來存儲(chǔ)，而是存儲(chǔ)在 extradata 中；每個(gè) NALU 前有個(gè) length 字段表示這個(gè) NALU 的長度（不包含 length 字段），length 字段通常是 4 字節(jié)。
    // 2、AnnexB 碼流格式：[startcode][NALU]|[startcode][NALU]|...
    // 每個(gè) NAL 前要添加起始碼：0x00000001；VPS、SPS、PPS 也都用這樣的 NALU 來存儲(chǔ)，一般在碼流最前面。
    if (sampleBuffer) {
        NSMutableData *resultData = [NSMutableData new];
        uint8_t nalPartition[] = {0x00, 0x00, 0x00, 0x01};
        
        // 關(guān)鍵幀前添加 vps（H.265)、sps、pps。這里要注意順序別亂了。
        if ([self isKeyFrame:sampleBuffer]) {
            KFVideoPacketExtraData *extraData = [self getPacketExtraData:sampleBuffer];
            if (extraData.vps) {
                [resultData appendBytes:nalPartition length:4];
                [resultData appendData:extraData.vps];
            }
            [resultData appendBytes:nalPartition length:4];
            [resultData appendData:extraData.sps];
            [resultData appendBytes:nalPartition length:4];
            [resultData appendData:extraData.pps];
        }
        
        // 獲取編碼數(shù)據(jù)。這里的數(shù)據(jù)是 AVCC/HVCC 格式的。
        CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
        size_t length, totalLength;
        char *dataPointer;
        OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
        if (statusCodeRet == noErr) {
            size_t bufferOffset = 0;
            static const int NALULengthHeaderLength = 4;
            // 拷貝編碼數(shù)據(jù)。
            while (bufferOffset < totalLength - NALULengthHeaderLength) {
                // 通過 length 字段獲取當(dāng)前這個(gè) NALU 的長度。
                uint32_t NALUnitLength = 0;
                memcpy(&NALUnitLength, dataPointer + bufferOffset, NALULengthHeaderLength);
                NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
                
                // 拷貝 AnnexB 起始碼字節(jié)。
                [resultData appendData:[NSData dataWithBytes:nalPartition length:4]];
                // 拷貝這個(gè) NALU 的字節(jié)。
                [resultData appendData:[NSData dataWithBytes:(dataPointer + bufferOffset + NALULengthHeaderLength) length:NALUnitLength]];
                
                // 步進(jìn)。
                bufferOffset += NALULengthHeaderLength + NALUnitLength;
            }
        }
        
        [self.fileHandle writeData:resultData];
    }
}

@end

上面是 KFVideoDemuxerViewController 的實(shí)現(xiàn)，其中主要包含這幾個(gè)部分：

1）設(shè)置好待解封裝的資源。
在 -demuxerConfig 中實(shí)現(xiàn)，我們這里是一個(gè) MP4 文件。
2）啟動(dòng)解封裝器。
在 -start 中實(shí)現(xiàn)。
3）讀取解封裝后的音頻編碼數(shù)據(jù)并存儲(chǔ)為 H.264/H.265 文件。
在 -fetchAndSaveDemuxedData → -saveSampleBuffer: 中實(shí)現(xiàn)。
需要注意的是，我們從解封裝器讀取的視頻 H.264/H.265 編碼數(shù)據(jù)是 AVCC/HVCC 碼流格式，我們?cè)谶@里示范了將 AVCC/HVCC 格式的碼流轉(zhuǎn)換為 AnnexB 再存儲(chǔ)的過程。這個(gè)在前面的《iOS 視頻編碼 Demo》中已經(jīng)介紹過了。

3、用工具播放 H.264/H.265 文件

完成視頻解封裝后，可以將 App Document 文件夾下面的 output.h264 或 output.h265 文件拷貝到電腦上，使用 ffplay 播放來驗(yàn)證一下視頻解封裝的效果是否符合預(yù)期：完成視頻解封裝后，可以將 App Document 文件夾下面的 output.h264 或 output.h265 文件拷貝到電腦上，使用 ffplay 播放來驗(yàn)證一下視頻解封裝的效果是否符合預(yù)期：

$ ffplay -I output.h264
$ ffplay -I output.h265

關(guān)于播放 H.264/H.265 文件的工具，可以參考《FFmpeg 工具》第 2 節(jié) ffplay 命令行工具和《可視化音視頻分析工具》第 2.1 節(jié) StreamEye。

《iOS AVDemo（9）：視頻封裝》

《iOS AVDemo（8）：視頻編碼》

《iOS AVDemo（7）：視頻采集》

《iOS 音頻處理框架及重點(diǎn) API 合集》

《iOS AVDemo（6）：音頻渲染》

《iOS AVDemo（5）：音頻解碼》

《iOS AVDemo（4）：音頻解封裝》

《iOS AVDemo（3）：音頻封裝》

《iOS AVDemo（2）：音頻編碼》

《iOS AVDemo（1）：音頻采集》

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

iOS AVDemo（10）：視頻解封裝，從 MP4 解出 H.264/H.265丨音視頻工程示例

iOS AVDemo（10）：視頻解封裝，從 MP4 解出 H.264/H.265丨音視頻工程示例

1、視頻解封裝模塊

解封裝 MP4 文件中的視頻部分存儲(chǔ)為 H.264/H.265 文件

3、用工具播放 H.264/H.265 文件

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

iOS AVDemo（10）：視頻解封裝，從 MP4 解出 H.264/H.265丨音視頻工程示例

1、視頻解封裝模塊

解封裝 MP4 文件中的視頻部分存儲(chǔ)為 H.264/H.265 文件

3、用工具播放 H.264/H.265 文件

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

iOS AVDemo（10）：視頻解封裝，從 MP4 解出 H.264/H.265丨音視頻工程示例

1、視頻解封裝模塊