Android Camera2入門
Android Camera2入門系列1 - Camera2在textureView預(yù)覽
Android Camera2入門系列2 - ImageReader獲得預(yù)覽數(shù)據(jù)
Android Camera2入門系列3 - Image中獲得YUV數(shù)據(jù)及YUV格式理解
Android Camera2入門系列4 - libyuv的編譯和使用
接上篇，Android Camera系列2 - ImageReader獲得預(yù)覽數(shù)據(jù)
本篇說一下YUV的格式以及如何從Image中得到真正的YUV數(shù)據(jù)。
YUV的格式網(wǎng)上有很多了，這里就不從YUV的具體格式展開了。這里只分享Camera2設(shè)置YUV_420_888時(shí)返回的數(shù)據(jù)格式。
如果了解YUV格式，我們知道其實(shí)YUV_420_888可以包含很多格式，比如YUV420P(I420=YU12 YV12)和YUV420SP(NV12,NV21)都可以叫做YUV_420_888。
我們知道camera2格式設(shè)置為YUV_420_888時(shí)ImageReader會(huì)得到三個(gè)Plane，分別對(duì)應(yīng)y,u,v，每個(gè)Plane都有自己的規(guī)格，介紹兩個(gè)Plane重要的參數(shù)：
- getRowStride
getRowStride是每一行數(shù)據(jù)相隔的間隔。
getRowStride并不一定等于camera預(yù)覽的寬度，廠商實(shí)現(xiàn)不同，我手頭兩臺(tái)手機(jī)，華為P20兩者相等，小米8則不相等。
比如說width=8，但getRowStride可能是10
Y1Y2Y3Y4Y5Y6Y7Y8 0 0
U1V1U2V2U3V3U4V4 0 0
所以獲取對(duì)應(yīng)數(shù)據(jù)就不一樣，需要根據(jù)RowStride獲取對(duì)應(yīng)數(shù)據(jù)，而不是直接數(shù)組拷貝，下面例子詳細(xì)講解它的作用。 - getPixelStride
表示相鄰的相同YUV數(shù)據(jù)間隔的距離。
Y分量應(yīng)該都是1，表示Y都是緊密挨著的
UV分量可能是1，也可能是2
1、 UV分量是1：表示UV跟Y一樣，兩個(gè)U之間沒有間隔，也就是YU12(也叫I420：YYYYYYYYUUVV)或者YV12(YYYYYYYYVVUU)
2、UV分量是2：表示每?jī)蓚€(gè)UV之間間隔一個(gè)，也就是NV12(YYYYYYYYUVUV)或者NV21(YYYYYYYYVUVU)
當(dāng)我們?nèi)?shù)據(jù)的時(shí)候需要注意要跟上面的getRowStride結(jié)合使用，因?yàn)椴⒉皇撬械腷lock都是挨著的。
我們做個(gè)試驗(yàn)來驗(yàn)證我們的想法，測(cè)試手機(jī)為小米8，支持的預(yù)覽高度最小為176/144。
| ~ | Y | U | V |
|---|---|---|---|
| rowStride | 192 | 192 | 192 |
| PixelStride | 1 | 2 | 2 |
| remaining size | 27632 | 13807 | 13807 |
| 如何計(jì)算size | 192*143+176 | 192*71+176-1 | 192*71+176-1 |
Y分量 <-> planes[0]
我們使用planes[0].getBuffer().remaining()方法查看當(dāng)前的Y的size
把Y Plane返回的數(shù)據(jù)存成文件，使用010Editor打開文件查看，Camera設(shè)置的預(yù)覽寬高為176/144，而getRowStride返回值為192，也就是說，它使用了192個(gè)字節(jié)來存儲(chǔ)176個(gè)有用的data，有16個(gè)字節(jié)是無用的。
如下圖所示：
我們可以清楚的看到，每?jī)蓚€(gè)塊之間有16個(gè)byte都是0，印證了我們的想法。也就是說每
rowStride (192)個(gè)byte中，前width (176)個(gè)是實(shí)際數(shù)據(jù)，余下的rowStride-width (16)個(gè)為無用數(shù)據(jù)。所以我畫了一幅圖，大致如下所示，有顏色的表示有用的數(shù)據(jù)，白色表示無用數(shù)據(jù)：
如果注意到的話上面例子中Y的數(shù)量是27632 = 192*143+176，所以說最后一行沒有最后的16個(gè)無用字節(jié)。
UV分量 <-> planes[1] planes[2]
先看下這倆的二進(jìn)制文件的區(qū)別：
我現(xiàn)在并不知道為什么u分量只是跟v分量偏移了一個(gè)字節(jié)，其他都一樣。有哪位了解的，麻煩評(píng)論告訴我一下~~~
我們拿v分量來看176/144的size的情況下，它的size是13807；
類似Y分量，也就是13807 = 192*71+176-1，除了最后減去了一個(gè)byte，原理跟Y一致，只不過是Y的一半，Y有144個(gè)，UV分別有144/2個(gè)，所以是rowStride * (height / 2 - 1) + width，至于為什么減一，現(xiàn)階段我還是不知道，先記住。
從Image獲取YUV代碼如下：
private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
@Override
public void onImageAvailable(ImageReader reader) {
Image image = reader.acquireLatestImage();
if (image == null) {
return;
}
try {
int w = image.getWidth(), h = image.getHeight();
// size是寬乘高的1.5倍 可以通過ImageFormat.getBitsPerPixel(ImageFormat.YUV_420_888)得到
int i420Size = w * h * 3 / 2;
Image.Plane[] planes = image.getPlanes();
//remaining0 = rowStride*(h-1)+w => 27632= 192*143+176 Y分量byte數(shù)組的size
int remaining0 = planes[0].getBuffer().remaining();
int remaining1 = planes[1].getBuffer().remaining();
//remaining2 = rowStride*(h/2-1)+w-1 => 13807= 192*71+176-1 V分量byte數(shù)組的size
int remaining2 = planes[2].getBuffer().remaining();
//獲取pixelStride，可能跟width相等，可能不相等
int pixelStride = planes[2].getPixelStride();
int rowOffest = planes[2].getRowStride();
byte[] nv21 = new byte[i420Size];
//分別準(zhǔn)備三個(gè)數(shù)組接收YUV分量。
byte[] yRawSrcBytes = new byte[remaining0];
byte[] uRawSrcBytes = new byte[remaining1];
byte[] vRawSrcBytes = new byte[remaining2];
planes[0].getBuffer().get(yRawSrcBytes);
planes[1].getBuffer().get(uRawSrcBytes);
planes[2].getBuffer().get(vRawSrcBytes);
if (pixelStride == width) {
//兩者相等，說明每個(gè)YUV塊緊密相連，可以直接拷貝
System.arraycopy(yRawSrcBytes, 0, nv21, 0, rowOffest * h);
System.arraycopy(vRawSrcBytes, 0, nv21, rowOffest * h, rowOffest * h / 2 - 1);
} else {
//根據(jù)每個(gè)分量的size先生成byte數(shù)組
byte[] ySrcBytes = new byte[w * h];
byte[] uSrcBytes = new byte[w * h / 2 - 1];
byte[] vSrcBytes = new byte[w * h / 2 - 1];
for (int row = 0; row < h; row++) {
//源數(shù)組每隔 rowOffest 個(gè)bytes 拷貝 w 個(gè)bytes到目標(biāo)數(shù)組
System.arraycopy(yRawSrcBytes, rowOffest * row, ySrcBytes, w * row, w);
//y執(zhí)行兩次，uv執(zhí)行一次
if (row % 2 == 0) {
//最后一行需要減一
if (row == h - 2) {
System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w - 1);
} else {
System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w);
}
}
}
//yuv拷貝到一個(gè)數(shù)組里面
System.arraycopy(ySrcBytes, 0, nv21, 0, w * h);
System.arraycopy(vSrcBytes, 0, nv21, w * h, w * h / 2 - 1);
}
//這里使用了YuvImage，接收NV21的數(shù)據(jù)，得到一個(gè)Bitmap
Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21, width, height);
if (mOnGetBitmapInterface != null) {
mOnGetBitmapInterface.getABitmap(bitmap);
}
} catch (Exception e) {
e.printStackTrace();
LogUtil.d(e.toString());
}
image.close();
}
};
//BitmapUtil.java
public static Bitmap getBitmapImageFromYUV(byte[] data, int width, int height) {
YuvImage yuvimage = new YuvImage(data, ImageFormat.NV21, width, height, null);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
yuvimage.compressToJpeg(new Rect(0, 0, width, height), 80, baos);
byte[] jdata = baos.toByteArray();
BitmapFactory.Options bitmapFatoryOptions = new BitmapFactory.Options();
bitmapFatoryOptions.inPreferredConfig = Bitmap.Config.RGB_565;
Bitmap bmp = BitmapFactory.decodeByteArray(jdata, 0, jdata.length, bitmapFatoryOptions);
return bmp;
}
這些代碼已經(jīng)上傳到github -> 此代碼的github傳送門 歡迎star/follow
下一篇分享使用libyuv做轉(zhuǎn)碼。
