基于opencv和QT的瞳孔精确检测程序

标签：

本文为作者为毕业设计所写的瞳孔精确检测程序，谢绝任何形式的转载。

本篇博客是在作者的前两篇博客 《基于QT和opencv的摄像头（本地图片）读取并输出程序》和《 基于opencv和QT的人脸（人眼）检测程序》的基础上进行开发的。主要原理是:针对已经检测到的人眼区域图像，利用边缘检测和Hough变换实现瞳孔的精确检测。

首先建立一个图像处理类，对每一帧图像进行处理。

class ImgProcess
{
    private:
        Mat inimg;//输入图像
        Mat outimg;//输出结果
        Mat Leye;
        Mat Reye;
        Mat Leye_G;
        Mat Reye_G;
        CvRect drawing_box;


    public:
        vector<Vec3f> Lcircles;
        vector<Vec3f> Rcircles;
        ImgProcess(Mat image):inimg(image),drawing_box(cvRect(0, 0, 50, 20)){}
        void EyeDetect();//人眼检测
        Mat Outputimg();//输出结果
        void DivideEye();//分左右眼
        Mat OutLeye();//输出结果
        Mat OutReye();
        Mat EdgeDetect(Mat &edgeimg);//边缘检测
        void EyeEdge();//分别检测左右眼
        vector<Vec3f> Hough(Mat &midImage);//hough变换
        void FindCenter();//定位中心
        Mat PlotC(vector<Vec3f> circles,Mat &midImage);//画HOUGH变换的检测结果
};

#endif // IMGPROCESS_H

1．检测人眼

    在图像处理时，首先利用上一篇博客所得到的人眼检测函数检测得到人眼区域。实现人眼检测的函数voidEyeDetect();

void ImgProcess::EyeDetect()
{
    detectAndDisplay( inimg,drawing_box );
    outimg=inimg;
}

其中的detectAndDisplay函数为:

void  detectAndDisplay( Mat &frame,CvRect &box )
{
    string face_cascade_name = "haarcascade_mcs_eyepair_big.xml";//导入已经训练完成的样本
    CascadeClassifier face_cascade;//建立分类器
    string window_name = "camera";
    if( !face_cascade.load( face_cascade_name ) ){
        printf("[error] no cascade\n");
    }

    std::vector<Rect> faces;//用于保存检测结果的向量
    Mat frame_gray;

    cvtColor( frame, frame_gray, CV_BGR2GRAY );//转换成灰度图
    equalizeHist( frame_gray, frame_gray );//直方图均值化

    face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(30, 30) );//用于检测人眼的函数
    //画方框
    for( int i = 0; i < faces.size(); i++ ){
        Point centera( faces[i].x, faces[i].y);
        Point centerb( faces[i].x + faces[i].width, faces[i].y + faces[i].height );
        rectangle(frame,centera,centerb,Scalar(255,0,0));
        box=faces[0];
    }

    //imshow( window_name, frame );
}

运行完人眼检测函数后，检测结果将在label上显示出来，如图一。需要说明的是，opencv自带的检测函数存在误检或者漏检的情况，即检测到多个人眼区域（多讲眉毛部分检测为人眼），或者检测不到人眼。所以函数将检测到的第一个向量放入drawing_box中；如果没有检测到，就不赋值。另外需要注意的是，在佩戴眼镜的情况下，检测效果不是十分明显。

图一

2．左右眼图像分割

drawing_box是一个矩形数据结构，里面共有四个量，drawing_box.x和drawing_box.y分别是矩形框的x和y坐标，drawing_box.width和drawing_box.Height分别是矩形框的宽度和高度。检测到人眼区域后，利用voidDivideEye()函数将人眼区域分成左右眼两个区域，方便后续计算。其中leye_box表示左眼的矩形框，Leye表示左眼的图像，reye_box表示右眼的矩形框，Reye表示右眼的图像。

void ImgProcess::DivideEye()
{
    if (drawing_box.width>0)
    {
        CvRect leye_box;
        leye_box.x=drawing_box.x+1;
        leye_box.y=drawing_box.y+1;
        leye_box.height=drawing_box.height-1;
        leye_box.width=floor(drawing_box.width/2)-1;
        CvRect reye_box;
        reye_box.x=leye_box.x+leye_box.width;
        reye_box.y=drawing_box.y+1;
        reye_box.height=drawing_box.height-1;
        reye_box.width=leye_box.width-1;
        Leye=inimg(leye_box);
        Reye=inimg(reye_box);
//    imshow("L",Leye);
//    imshow("R",Reye);
    }
}

3．图像边缘检测

    本文利用canny算法对图像进行边缘检测，canny算法的原理就不详细介绍了，大家可以自行查阅网上的资料，本文直接使用opencv自带的检测函数进行检测。单个图像的边缘检测ImgProcess::EdgeDetect：首先将图像由彩色图转换成灰度图，然后进行高斯平滑，接着进行直方图均值化，最后利用canny函数进行边缘检测。这几个函数的用法和参数设置网上都有介绍，其中canny函数最重要的是低阈值和高阈值的设置，本文的参数是通过多次测试得出的结果。参数的设置与光照和背景都有较大的关系，本文的参数适用于作者所在是环境（图一的背景），在其他环境下是否适用，还需要读者自行探索。

Mat ImgProcess::EdgeDetect(Mat &edgeimg)
{
    Mat edgeout;
    cvtColor(edgeimg,edgeimg,CV_BGR2GRAY);// 彩色图转换成灰度图
    GaussianBlur( edgeimg,edgeimg, Size(9, 9), 2, 2 );// 高斯平滑
    equalizeHist( edgeimg, edgeimg );//直方图均值化
    Canny(edgeimg,edgeout,100,200,3);//输入图像,输出图像,低阈值,高阈值，opencv建议是低阈值的3倍,内部sobel滤波器大小
    return edgeout;
}

然后建立一个函数对左右眼图片分别调用边缘检测函数

void ImgProcess::EyeEdge()
{
    Leye_G=EdgeDetect(Leye);   
    Reye_G=EdgeDetect(Reye);
  //imshow("L",Leye_G);
  //imshow("R",Reye_G);
}

检测结果如图二所示

vector<Vec3f> ImgProcess::Hough(Mat &midImage)
{
    vector<Vec3f> circles;

    HoughCircles( midImage, circles, CV_HOUGH_GRADIENT,1.5, 5, 100, 20, drawing_box.height/4, drawing_box.height/3 );
    return circles;
}

Mat ImgProcess::PlotC(vector<Vec3f> circles,Mat &midImage)
 {
     for( size_t i = 0; i < circles.size(); i++ )
       {
         Point center(cvRound(circles[i][0]), cvRound(circles[i][1]));
         int radius = cvRound(circles[i][2]);
         //cout<<i<<":"<<circles[i][0]<<","<<circles[i][1]<<","<<circles[i][2]<<endl;
         //绘制圆心cvRound进行四舍五入
         circle( midImage, center, 1, Scalar(255,0,0), -1,8);
         //绘制圆轮廓
         circle( midImage, center, radius, Scalar(255,0,0), 1,8 );
       }
     return midImage;
 }

最后分别建立一个对左右眼进行hough变换的函数对上述两个函数进行调用：

voidImgProcess::FindCenter()
{
    Lcircles=Hough(Leye_G);
    Rcircles=Hough(Reye_G);
    Leye=PlotC(Lcircles,Leye);
    Reye=PlotC(Rcircles,Reye);
}

最终的检测结果如图三所示。从结果中可以发现，检测结果不是非常稳定，存在漏检和误检的情况，这可能是参数设置的问题。利用本文所设置的参数，基本可以实现瞳孔的精确检测，通过调整人脸相对于摄像头的位置，一定可以检测到瞳孔，但是检测结果不一定是连续的。在误检的情况中，即使存在多余的检测结果，但是正确的结果也同时存在（如图三右图），说明正确相对于误检的结果，是最稳定的。

图三

在上一篇《基于QT和opencv的摄像头（本地图片）读取并输出程序》的程序中的图像处理函数的位置，对上述函数进行调用，可以得到图四所得的结果。

ImgProcess pro(frame);//建立视频处理类
pro.EyeDetect();//人眼检测
        Mat image=pro.Outputimg();//输出检测图像
        imshow( "camera", image );
        QImage img=Mat2QImage(image);//将mat格式转换为Qimage格式
        ui->label->setPixmap(QPixmap::fromImage(img));//将结果在label上显示
        //ui->label->setScaledContents(true);//使图像尺寸与label大小匹配
        pro.DivideEye();//分成左右眼
        pro.EyeEdge();//瞳孔边缘检测
        pro.FindCenter();//hough变换求圆心
        Mat mleye=pro.OutLeye();//输出瞳孔定位结果
        QImage qleye=Mat2QImage(mleye);
        ui->label_2->setPixmap(QPixmap::fromImage(qleye));
        //ui->label_2->setScaledContents(true);
        Mat mreye=pro.OutReye();
        QImage qreye=Mat2QImage(mreye);
        ui->label_3->setPixmap(QPixmap::fromImage(qreye));
        //ui->label_3->setScaledContents(true);

图四

本篇博客介绍的是对opencv自带的图像处理函数的应用，下一篇《基于QT和opencv的瞳孔定位及跟踪程序》将介绍对检测到的数据进行检测的处理，实现瞳孔的定位和跟踪功能。整个图像处理类函数和类的调用函数将在下一篇完整给出。

基于opencv和QT的瞳孔精确检测程序

标签：

原文地址：http://blog.csdn.net/zyx1990412/article/details/51219076