之前寫過一個開源項目仿微信視頻拍攝UI基于 ffmpeg的視頻錄制編輯
使用的是VCamera庫來錄制,效果很差, 主要是因?yàn)閒fmpeg的so庫編譯版本不支持targetSdkVersion26以上, 導(dǎo)致現(xiàn)在大部分項目都用不了, 而且優(yōu)化不是很好
所以我用了基于Camera錄制源+MediaCodec編碼 替換了原本的錄制方法, 并更新了ffmpeg庫LanSoEditor 速度更快 兼容更好
1. 首先是打開camera預(yù)覽畫面
//正常初始化Camera對象, 注意getCameraDisplayOrientation()這個方法,
//因?yàn)镃amera得到的畫面是歪的, 所以我們需要旋轉(zhuǎn)一下
public void openCamera(Activity activity, int cameraId, SurfaceHolder surfaceHolder){
...
mCamera = Camera.open(cameraId);
//視頻旋轉(zhuǎn)角度 因?yàn)镃amera得到的畫面是歪的, 所以我們需要旋轉(zhuǎn)一下播放
displayOrientation = getCameraDisplayOrientation(activity, cameraId);
mCamera.setDisplayOrientation(displayOrientation);
mCamera.setPreviewDisplay(surfaceHolder);
mCamera.setPreviewCallback(previewCallback);
Camera.Parameters parameters = mCamera.getParameters();
previewSize = getPreviewSize();
//視頻錄制尺寸
parameters.setPreviewSize(previewSize[0], previewSize[1]);
//錄制焦點(diǎn)
parameters.setFocusMode(getAutoFocus());
parameters.setPictureFormat(ImageFormat.JPEG);
//在后面會轉(zhuǎn)成nv12在進(jìn)行編碼
parameters.setPreviewFormat(ImageFormat.NV21);
mCamera.setParameters(parameters);
mCamera.startPreview();
...
}
//在這里cemara返回的數(shù)據(jù)是YUV420-NV21格式的數(shù)據(jù)
mCameraHelp.setPreviewCallback(new Camera.PreviewCallback() {
@Override
public void onPreviewFrame(byte[] data, Camera camera) {
...
mYUVQueue.add(data);
...
}
});
2. 當(dāng)開始錄制的時候 初始化AvcEncoder(重點(diǎn))
//首先是構(gòu)造函數(shù)里面, 我們初始化MediaCodec編碼器(視頻寬高,碼率,yuv420色彩,幀數(shù),編碼格式avc)
public AvcEncoder(int width, int height, ArrayBlockingQueue<byte[]> YUVQueue) {
...
MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, width*height*5);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);
mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mediaCodec.start();
...
}
//開始編碼, 編譯出來的數(shù)據(jù)是h264
public void startEncoder(final String videoPath, final boolean isFrontCamera){
//循環(huán)從YUVQueue里面拿取每幀數(shù)據(jù)
while (isRunning.get()) {
//把nv21轉(zhuǎn)nv12
NV21ToNV12(input,yuv420sp, width, height);
//如果是前置攝像頭的話 要上下顛倒一下畫面
rotateYUV420Degree180(yuv420sp, width, height);
//此步就是mediaCodec轉(zhuǎn)碼 有興趣去看詳細(xì)代碼, 在后面我會詳細(xì)講解
mediaCodec.getInputBuffers();
}
}
3. 最后一步就是使用ffmpeg把h264轉(zhuǎn)mp4
//ffmpeg -i in -vcodec copy -f mp4 put
//因?yàn)槲业墓δ芾镉蟹侄武浿?所以我是先把h264轉(zhuǎn)ts 然后多個ts合成mp4
4. 視頻錄制就完成了, 接下來是音頻錄制編碼 初始化AudioRecordUtil
public AudioRecordUtil(final String path){
bufferSize = AudioRecord.getMinBufferSize(sampleRateInHz, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
//麥克風(fēng) 采樣率 單聲道 音頻格式, 緩存大小
audioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, sampleRateInHz, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, bufferSize);
mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_AUDIO_AAC);
...
}
//和視頻編碼一樣 也是循環(huán)
public void startRecord(){
while (isRecording.get()) {
//拿到音頻數(shù)據(jù)
audioRecord.read(data, 0, bufferSize);
//pcm轉(zhuǎn)aac 有興趣去看詳細(xì)代碼
encodeData(data);
}
}
5. 最后錄制完成 使用ffppeg把視頻和音頻文件合成在一起
//ffmpeg -i video -1 audio -t vDuration -map 0:v -map 1:a -vcodec copy -acodec copy -absf aac_adtstoasc -y out
6. 音視頻使用的MediaCodec除了編碼的數(shù)據(jù)不一樣 原理是一致的
//得到編碼器的輸入和輸出流, 輸入流寫入源數(shù)據(jù) 輸出流讀取編碼后的數(shù)據(jù)
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers();
//得到要使用的緩存序列角標(biāo)
int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
pts = computePresentationTime(generateIndex);
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
//把要編碼的數(shù)據(jù)添加進(jìn)去
inputBuffer.put(input);
//塞到編碼序列中, 等待MediaCodec編碼
mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, pts, 0);
generateIndex += 1;
}
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
//讀取MediaCodec編碼后的數(shù)據(jù)
int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
while (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
byte[] outData = new byte[bufferInfo.size];
//這步就是編碼后的h264數(shù)據(jù)了
outputBuffer.get(outData);
if(bufferInfo.flags == MediaCodec.BUFFER_FLAG_CODEC_CONFIG){//視頻信息
configByte = new byte[bufferInfo.size];
configByte = outData;
}else if(bufferInfo.flags == MediaCodec.BUFFER_FLAG_KEY_FRAME){//關(guān)鍵幀
byte[] keyframe = new byte[bufferInfo.size + configByte.length];
System.arraycopy(configByte, 0, keyframe, 0, configByte.length);
System.arraycopy(outData, 0, keyframe, configByte.length, outData.length);
outputStream.write(keyframe, 0, keyframe.length);
}else{//正常的媒體數(shù)據(jù)
outputStream.write(outData, 0, outData.length);
}
//數(shù)據(jù)寫入本地成功 通知MediaCodec釋放data
mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
//讀取下一次編碼數(shù)據(jù)
outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
}
7. 還有拍照的邏輯 其實(shí)很簡單 就是把一幀NV21數(shù)據(jù)轉(zhuǎn)成jpeg
//把NV21數(shù)據(jù)輸出成jpeg
YuvImage yuvimage = new YuvImage(data, ImageFormat.NV21, mCameraHelp.getWidth(), mCameraHelp.getHeight(), null);
yuvimage.compressToJpeg(new Rect(0, 0, yuvimage.getWidth(), yuvimage.getHeight()), 100, fos);
fos.close();
//注意這里, 因?yàn)橹俺跏蓟痗amera就說過了, camera出來的畫面是旋轉(zhuǎn)的 所以我們這里也手動把圖片旋轉(zhuǎn)一下
Matrix matrix = new Matrix();
if(mCameraHelp.getCameraId() == Camera.CameraInfo.CAMERA_FACING_FRONT){
matrix.setRotate(360-mCameraHelp.getDisplayOrientation());
//如果是前置攝像頭, 那么鏡像一下
matrix.postScale(-1, 1);
}else{
matrix.setRotate(mCameraHelp.getDisplayOrientation());
}
到這里 其實(shí)主要邏輯就結(jié)束了 其余的視頻編輯操作(裁剪, 截取, 添加水印, 播放速度等等)這些其實(shí)就是簡單的ffmpeg語句, 大家自行看代碼也能理解, 之前我也有文章講過這些
仿微信視頻拍攝UI, 基于ffmpeg的視頻錄制編輯(上)
仿微信視頻拍攝UI, 基于ffmpeg的視頻錄制編輯(下)
