如何转换 yuv420sp的 byte[]数据成opencv 的Mat类型？
在android相机中获取数据，想直接转换成mat类型，使用的opencv-android
转换 yuv420sp的 byte[]数据成opencv 的Mat类型？
在android相机中获取数据，想直接转换成mat类型，使用的opencv-android
//YUV420SP转BGR
JNIEXPORT int JNICALL Java_com_facedetect_nativecaller_FaceNative_readYUV420SP(JNIEnv *env, jclass clz, jbyteArray yuv,jint len,jint height,jint width)
{
jbyte * pBuf = (jbyte*)env->GetByteArrayElements(yuv, 0);
Mat image(height + height/2,width,CV_8UC1,(unsigned char *)pBuf);
Mat mBgr;
cvtColor(image, mBgr, CV_YUV2BGR_NV21);
imwrite("/mnt/sdcard/readYuv.jpg",mBgr);
env->ReleaseByteArrayElements(yuv, pBuf, 0);
return 0;
}
//上篇中，Bitmap转BGR
JNIEXPORT int JNICALL Java_com_facedetect_nativecaller_FaceNative_readBitmap(JNIEnv *env, jclass clz, jobject bitmapcolor,jint len,jint height,jint width)
{
AndroidBitmapInfo infocolor;
void* pixelscolor;
int ret;
if ((ret = AndroidBitmap_getInfo(env, bitmapcolor, &infocolor)) < 0) {
LOGE("AndroidBitmap_getInfo() failed ! error=%d", ret);
return -1;
}
LOGI("color image :: width is %d; height is %d; stride is %d; format is %d;flags is %d",
infocolor.width,infocolor.height,infocolor.stride,infocolor.format,infocolor.flags);
if (infocolor.format != ANDROID_BITMAP_FORMAT_RGBA_8888) {
LOGE("Bitmap format is not RGBA_8888 !");
return -1;
}
if ((ret = AndroidBitmap_lockPixels(env, bitmapcolor, &pixelscolor)) < 0) {
LOGE("AndroidBitmap_lockPixels() failed ! error=%d", ret);
}
Mat image(infocolor.height,infocolor.width,CV_8UC4,(char*)pixelscolor);
Mat bgr;
//转换成BGR
cvtColor(image,bgr,CV_RGBA2BGR);
imwrite("/mnt/sdcard/readBitmap.jpg",bgr);
//转换成GRAY
// cvtColor(bgr,gray,CV_BGR2GRAY);
// imwrite("/mnt/sdcard/gray.jpg",gray);
AndroidBitmap_unlockPixels(env, bitmapcolor);
return 0;
}
转换 yuv420sp的 byte[]数据成opencv 的Mat类型？
在android相机中获取数据，想直接转换成mat类型，使用的opencv-android
一、Mat类型：矩阵类型，Matrix。
在openCV中，Mat是一个多维的密集数据数组。可以用来处理向量和矩阵、图像、直方图等等常见的多维数据。
Mat有3个重要的方法：
1、Mat mat = imread(const String* filename); 读取图像
2、imshow(const string frameName, InputArray mat); 显示图像
3、imwrite (const string& filename, InputArray img); 储存图像
Mat类型较CvMat与IplImage类型来说，有更强的矩阵运算能力，支持常见的矩阵运算。在计算密集型的应用当中，将CvMat与IplImage类型转化为Mat类型将大大减少计算时间花费。
A.Mat -> IplImage
同样只是创建图像头，而没有复制数据。
例： // 假设Mat类型的imgMat图像数据存在
IplImage pImg= IplImage(imgMat);
B.Mat -> CvMat
与IplImage的转换类似，不复制数据，只创建矩阵头。
例： // 假设Mat类型的imgMat图像数据存在
CvMat cvMat = imgMat;
二、CvMat类型与IplImage类型：“图像”类型
在openCV中，Mat类型与CvMat和IplImage类型都可以代表和显示图像，但是，Mat类型侧重于计算，数学性较高，openCV对Mat类型的计算也进行了优化。而CvMat和IplImage类型更侧重于“图像”，openCV对其中的图像操作（缩放、单通道提取、图像阈值操作等）进行了优化。
补充：IplImage由CvMat派生，而CvMat由CvArr派生即CvArr -> CvMat -> IplImage
CvArr用作函数的参数，无论传入的是CvMat或IplImage，内部都是按CvMat处理。
1.CvMat
A.CvMat-> IplImage
IplImage* img = cvCreateImage(cvGetSize(mat),8,1);
cvGetImage(matI,img);
cvSaveImage("rice1.bmp",img);
B.CvMat->Mat
与IplImage的转换类似，可以选择是否复制数据。
Mat::Mat(const CvMat* m, bool copyData=false);
在openCV中，没有向量（vector）的数据结构。任何时候，但我们要表示向量时，用矩阵数据表示即可。
但是，CvMat类型与我们在线性代数课程上学的向量概念相比，更抽象，比如CvMat的元素数据类型并不仅限于基础数据类型，比如，下面创建一个二维数据矩阵：
CvMat* cvCreatMat(int rows ,int cols , int type);
这里的type可以是任意的预定义数据类型，比如RGB或者别的多通道数据。这样我们便可以在一个CvMat矩阵上表示丰富多彩的图像了。
2.IplImage
在类型关系上，我们可以说IplImage类型继承自CvMat类型，当然还包括其他的变量将之解析成图像数据。
IplImage类型较之CvMat多了很多参数，比如depth和nChannels。在普通的矩阵类型当中，通常深度和通道数被同时表示，如用32位表示RGB+Alpha.但是，在图像处理中，我们往往将深度与通道数分开处理，这样做是OpenCV对图像表示的一种优化方案。
IplImage的对图像的另一种优化是变量origin----原点。在计算机视觉处理上，一个重要的不便是对原点的定义不清楚，图像来源，编码格式，甚至操作系统都会对原地的选取产生影响。为了弥补这一点，openCV允许用户定义自己的原点设置。取值0表示原点位于图片左上角，1表示左下角。
dataOrder参数定义数据的格式。有IPL_DATA_ORDER_PIXEL和IPL_DATA_ORDER_PLANE两种取值，前者便是对于像素，不同的通道的数据交叉排列，后者表示所有通道按顺序平行排列。
IplImage类型的所有额外变量都是对“图像”的表示与计算能力的优化。
A.IplImage -> Mat
IplImage* pImg = cvLoadImage("lena.jpg");
Mat img(pImg,0); // 0是不复制影像，也就是pImg与img的data共用同个记忆体位置，header各自有
B.IplImage -> CvMat
法1：CvMat mathdr, mat = cvGetMat( img, &mathdr );
法2：CvMat *mat = cvCreateMat( img->height, img->width, CV_64FC3 );
cvConvert( img, mat );
C.IplImage-> BYTE*
BYTE* data= img->imageData;
CvMat和IplImage创建时的一个小区别：
1、建立矩阵时，第一个参数为行数，第二个参数为列数。
CvMat* cvCreateMat( int rows, int cols, int type );
2、建立图像时，CvSize第一个参数为宽度，即列数；第二个参数为高度，即行数。这 个和CvMat矩阵正好相反。
IplImage* cvCreateImage(CvSize size, int depth, int channels );
CvSize cvSize( int width, int height );
IplImage内部buffer每行是按4字节对齐的，CvMat没有这个限制
补充：
A.BYTE*-> IplImage*
img= cvCreateImageHeader(cvSize(width,height),depth,channels);
cvSetData(img,data,step);
//首先由cvCreateImageHeader()创建IplImage图像头，制定图像的尺寸，深度和通道数；
//然后由cvSetData()根据BYTE*图像数据指针设置IplImage图像头的数据数据，
//其中step指定该IplImage图像每行占的字节数，对于1通道的IPL_DEPTH_8U图像，step可以等于width。
IplImage* YUV420_To_IplImage_Opencv(unsigned char* pYUV420, int width, int height)
{
if (!pYUV420)
{
return NULL;
}
IplImage *yuvimage,*rgbimg,*yimg,*uimg,*vimg,*uuimg,*vvimg;
int nWidth = width;
int nHeight = height;
rgbimg = cvCreateImage(cvSize(nWidth, nHeight),IPL_DEPTH_8U,3);
yuvimage = cvCreateImage(cvSize(nWidth, nHeight),IPL_DEPTH_8U,3);
yimg = cvCreateImageHeader(cvSize(nWidth, nHeight),IPL_DEPTH_8U,1);
uimg = cvCreateImageHeader(cvSize(nWidth/2, nHeight/2),IPL_DEPTH_8U,1);
vimg = cvCreateImageHeader(cvSize(nWidth/2, nHeight/2),IPL_DEPTH_8U,1);
uuimg = cvCreateImage(cvSize(nWidth, nHeight),IPL_DEPTH_8U,1);
vvimg = cvCreateImage(cvSize(nWidth, nHeight),IPL_DEPTH_8U,1);
cvSetData(yimg,pYUV420, nWidth);
cvSetData(uimg,pYUV420+nWidth*nHeight, nWidth/2);
cvSetData(vimg,pYUV420+long(nWidth*nHeight*1.25), nWidth/2);
cvResize(uimg,uuimg,CV_INTER_LINEAR);
cvResize(vimg,vvimg,CV_INTER_LINEAR);
cvMerge(yimg,uuimg,vvimg,NULL,yuvimage);
cvCvtColor(yuvimage,rgbimg,CV_YCrCb2RGB);
cvReleaseImage(&uuimg);
cvReleaseImage(&vvimg);
cvReleaseImageHeader(&yimg);
cvReleaseImageHeader(&uimg);
cvReleaseImageHeader(&vimg);
cvReleaseImage(&yuvimage);
if (!rgbimg)
{
return NULL;
}
return rgbimg;
}
public Bitmap rawByteArray2RGBABitmap2(byte[] data, int width, int height) {
byte[] rotateData = rotateYUV420Degree90(data, width, height);
int w = height;
int h = width;
int frameSize = w * h;
int[] rgba = new int[frameSize];
for (int i = 0; i < h; i++)
for (int j = 0; j < w; j++) {
int y = (0xff & ((int) rotateData[i * w + j]));
int u = (0xff & ((int) rotateData[frameSize + (i >> 1) * w + (j & ~1) + 0]));
int v = (0xff & ((int) rotateData[frameSize + (i >> 1) * w + (j & ~1) + 1]));
y = y < 16 ? 16 : y;
int r = Math.round(1.164f * (y - 16) + 1.596f * (v - 128));
int g = Math.round(1.164f * (y - 16) - 0.813f * (v - 128) - 0.391f * (u - 128));
int b = Math.round(1.164f * (y - 16) + 2.018f * (u - 128));
r = r < 0 ? 0 : (r > 255 ? 255 : r);
g = g < 0 ? 0 : (g > 255 ? 255 : g);
b = b < 0 ? 0 : (b > 255 ? 255 : b);
rgba[i * w + j] = 0xff000000 + (b << 16) + (g << 8) + r;
}
Bitmap bmp = Bitmap.createBitmap(w, h, Bitmap.Config.ARGB_8888);
bmp.setPixels(rgba, 0, w, 0, 0, w, h);
Bitmap rectBitmap = Bitmap.createBitmap(bmp, ByteDataClass.rectX, ByteDataClass.rectY,
ByteDataClass.rectWidth, ByteDataClass.rectHeight);
Bitmap bit = Bitmap.createScaledBitmap(rectBitmap, rectBitmap.getWidth() / 2, rectBitmap.getHeight() / 2, true);
return bit;
}
private byte[] rotateYUV420Degree90(byte[] data, int imageWidth, int imageHeight) {
byte[] yuv = new byte[imageWidth * imageHeight * 3 / 2];
// Rotate the Y luma
int i = 0;
for (int x = 0; x < imageWidth; x++) {
for (int y = imageHeight - 1; y >= 0; y--) {
yuv[i] = data[y * imageWidth + x];
i++;
}
}
// Rotate the U and V color components
i = imageWidth * imageHeight * 3 / 2 - 1;
for (int x = imageWidth - 1; x > 0; x = x - 2) {
for (int y = 0; y < imageHeight / 2; y++) {
yuv[i] = data[(imageWidth * imageHeight) + (y * imageWidth) + x];
i--;
yuv[i] = data[(imageWidth * imageHeight) + (y * imageWidth) + (x - 1)];
i--;
}
}
return yuv;
}
最后把rawByteArray2RGBABitmap2这个函数中得到的bitmap进行一下处理就变成mat了
Mat mbgr = new Mat();
Utils.bitmapToMat(img,mbgr);
我是这样做的，不过存在失真，不知道楼主有没有更好的方法，指点一二 谢谢