Android 图像处理软件

在机器视觉实验室呆了有一年半时间了，但由于自己“任性”。一直以来学习的内容都是自己来安排，我还是坚持认为没有最好和最简单的技术，只有自己喜欢的技术。不过说起来还是会觉得惭愧，经常听到师兄们谈论图像处理各种算法，可是一直到此软件诞生之前对机器视觉的知识可以说一概不知。自己研究的主要是Android系统的东西，从上层到下层都有所涉及。一直以来都想把自身所长和实验室主题联系上，这样可以多和实验室牛人沟通，也顺便刷刷存在感~由此向师兄师弟们请教一二，学了一点图像处理技术，做了一款Android平台的图像处理工具，可以帮助用户快速实时预览所要处理的图像在不同算法之下的结果。也由于本人所学算法太少，今后学了更多之后也会慢慢加入到软件中，将软件功能壮大起来。

首先讲讲软件到目前为止可以实现的功能：
* 开启手机相机预览图像
* 将采集到的图像转换成灰度图预览
* 将灰度图像经过Sobel转换后预览
* 对Sobel之后的图像进行二值化
* 二值化的过程中可以随时动态调整分割阈值
* 通过拍照按钮可以锁定图像，在按一次进行边缘提取

软件效果图如下：

首先是打开软件所看到的主界面：

然后点击菜单，切换到灰度图：

接着切换到Sobel变换

阈值为50的二值分割

最后进行边缘提取：

其中涉及到的算法有四个，具体的算法实现可以在软件源码中找到，点击下载源码

整个软件有3个类，也就三个不同的功能部分，其中MainActivity.java是主类，下面按照三个不同的功能成分对整个软件架构做一个详细的说明：

1、主界面

MainActivity.java ：

首先是界面布局，主要是一个ImageView用于显示整个预览框，另外加上一个拍照按钮和一个菜单按钮，点击菜单按钮弹出菜单。最后如果当前请求二值化算法，则显示一个滑动进度条和一个文本输入框来动态调整阈值。代码如下：

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:id="@+id/root"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity" >

    <ImageView
        android:id="@+id/preview"
        android:layout_width="match_parent"
        android:layout_height="match_parent" />

    <Button
        android:id="@+id/takePic_bt"
        android:layout_width="60dp"
        android:layout_height="60dp"
        android:layout_alignParentRight="true"
        android:layout_centerVertical="true"
        android:layout_marginRight="15dp"
        android:background="@drawable/shutter"
        android:onClick="onClick_takePic" />

    <ListView
        android:id="@+id/list_view"
        android:layout_width="150dp"
        android:layout_height="match_parent"
        android:layout_marginTop="20dp"
        android:divider="#ff555555"
        android:dividerHeight="1.3dp"
        android:listSelector="@android:color/holo_blue_bright"
        android:visibility="gone" >
    </ListView>

    <Button
        android:id="@+id/takePic_bt"
        android:layout_width="40dp"
        android:layout_height="40dp"
        android:layout_alignParentBottom="true"
        android:layout_alignParentLeft="true"
        android:layout_marginBottom="15dp"
        android:layout_marginLeft="5dp"
        android:background="@drawable/menu"
        android:onClick="onClick_menu" />

    <EditText
        android:id="@+id/input_threshold"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignParentBottom="true"
        android:layout_alignParentRight="true"
        android:layout_margin="20dp"
        android:inputType="numberDecimal"
        android:text="240"
        android:textColor="@android:color/holo_blue_bright"
        android:visibility="gone" />

    <SeekBar
        android:id="@+id/seekbar"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_alignParentBottom="true"
        android:layout_marginBottom="20dp"
        android:layout_marginLeft="50dp"
        android:layout_toLeftOf="@id/input_threshold"
        android:max="255"
        android:progress="240"
        android:visibility="gone" />

    <View
        android:id="@+id/topline"
        android:layout_width="match_parent"
        android:layout_height="2dp"
        android:layout_marginLeft="100dp"
        android:layout_marginRight="100dp"
        android:layout_marginTop="50dp"
        android:background="#444" />

    <View
        android:layout_width="2dp"
        android:layout_height="180dp"
        android:layout_alignEnd="@id/topline"
        android:layout_below="@id/topline"
        android:background="#444" />

    <View
        android:layout_width="2dp"
        android:layout_height="180dp"
        android:layout_alignStart="@id/topline"
        android:layout_below="@id/topline"
        android:background="#444" />

</RelativeLayout>

接下来加入对菜单和拍照按钮事件的监听方法，如下：

public void onClick_menu(View view)
    {
        if (isMenuVisible)
        {
            listView.startAnimation(menuInvisible);
            listView.setVisibility(View.GONE);
            isMenuVisible = false;
        }
        else
        {
            listView.startAnimation(menuVisible);
            listView.setVisibility(View.VISIBLE);
            isMenuVisible = true;
        }
    }

    public void onClick_takePic(View view) throws IOException
    {
        getScreen.takePic();                //相机拍照
    }

其中菜单的显示我添加了一个透明度动画，让软件界面更柔和。透明度补间动画比较简单，在res/anim/目录下添加两个动画资源用于显示和消失，然后再单击事件中播放动画即可。
然后是对弹出来的菜单编写点击事件，这里我用ListView做的菜单，用listView.setOnItemClickListener()方法设置回调方法。代码如下：

listView.setOnItemClickListener(new OnItemClickListener()
        {
            @Override
            public void onItemClick(AdapterView<?> parent, View view,
                    int position, long id)
            {
                if (position == 3)          // 灰度图则打开进度条
                {
                    seekbar.setVisibility(View.VISIBLE);
                    inputThreshold.setVisibility(View.VISIBLE);
                }
                else
                {
                    seekbar.setVisibility(View.GONE);
                    inputThreshold.setVisibility(View.GONE);
                }
                whichToDisplay = position;              //切换算法
            }
        });

这里主要作用有两个：1、打开和关闭阈值进度条；2、切换用户点击的算法。当然，进度条打开之后也要有配套的监听程序，这里需要同时监听seekBar和editText两个控件，需要保持二者的同步，内容比较简单易懂，如下：

// 处理SeekBar
        seekbar.setOnSeekBarChangeListener(new OnSeekBarChangeListener()
        {
            @Override
            public void onStopTrackingTouch(SeekBar arg0)
            {
                thresholdValue = arg0.getProgress() > 255 ? 255 : arg0
                        .getProgress();
            }

            @Override
            public void onStartTrackingTouch(SeekBar arg0)
            {

            }

            @Override
            public void onProgressChanged(SeekBar arg0, int arg1, boolean arg2)
            {
                inputThreshold.setText(arg0.getProgress() + "");
            }
        });

        // 处理EditText
        inputThreshold.setOnEditorActionListener(new OnEditorActionListener()
        {

            @Override
            public boolean onEditorAction(TextView v, int actionId,
                    KeyEvent event)
            {
                seekbar.setProgress(Integer.parseInt(inputThreshold.getText()
                        .toString()));
                return false;
            }
        });

好了，到这里基本上主界面的东西都考虑到了，下面是图像的获取部分。

2、获取相机图像并显示预览

GetScreen.java：
这一部分主要运用到对Android相机和预览功能的使用方面的内容。
1. 对相机的使用：
按照我个人对相机的使用，可以简单归纳为6个步骤：
① 打开相机—— Camera.open();
② 设置相机参数——Camera.getParameters();
③ 设置图片预览容器——Camera.setPreviewTexture();
④ 开始预览——Camera.startPreview();
⑤ 设置预览回调接口——Camera.setPreviewCallback();
⑥ 关闭相机——Camera.close();
整个过程其实很简单，官方文档中强调了几个容易出错的地方：一个是注意3和4两个步骤的顺序不能反，另外是相机用完一定要关闭，否则其他程序将无法启动相机。经过本人的测试，如果不关闭相机，在退出的时候也会抛出异常，所以需要多加注意！

另外一个需要注意的是这里回调传入setPreviewCallback()方法的图像是YuV420p格式，需要转换成rgb格式方便处理。这里用到了一个decodeYUV420SP算法，详细内容见源码。转换成RGB格式之后可以很方便的生成Bitmap图片，然后在ImageView上显示即可。

其实这一部分比较麻烦的是对焦的步骤。首先我们通过亮度计算公式：

bright = 0.299 * r + 0.587 * g + 0.114 * b;
每隔500ms计算一次整幅图片的亮度平均值，然后和上一次的值对比，如果在某一个区间内，则说明相机前端图像已经趋于稳定，此时进行一次对焦，并设置相应标志位以保证在下一次稳定图像出现之前不在进行对焦。对焦函数如下：

private void autoFocus()
    {
        long currentTime = 0, stableTime = 0;

        currentTime = System.currentTimeMillis();
        bright = Pictures.getLight(rgb);

        if (Math.abs(bright - lastBright) > focusThreshold)
        {
            lastBright = bright;
            hasFocus = false;
            stableTime = currentTime;
        }
        else
        {
            if (!hasFocus && currentTime - stableTime >= 500)
            {
                camera.autoFocus(new AutoFocusCallback()
                {
                    @Override
                    public void onAutoFocus(boolean success, Camera camera)
                    {

                    }
                });

                hasFocus = true;
            }
        }
    }

3、图像算法

Pictures.java：
进入到这里才真正开始涉及到图像处理算法的部分，这里会涉及到几个比较简单的算法，算法的原理这里就不多说了，网上关于图像处理技术的讲解有很多。

软件中主要有如下几个算法的静态方法：
* 前面提到的将YuV420p转成RGB格式：decodeYUV420SP();
* 计算图像的平均亮度： getLight();
* 获取八位灰度图像数组：getLightArray();
* 彩色图转换成灰度图：convertToGrey();
* Sobel变换：sobel();
* 对图片进行二值化处理：turnTo2();
* 边缘提取：findFrame();

在这里我把每个算法都写成了静态方法，这样可以很方便的在其他代码中使用算法处理图像，对图像的处理都在第二部分GetScreen的相机预览回调函数onPreviewFrame()中，这里也是整个软件的核心步骤。代码如下：

@Override
    public void onPreviewFrame(byte[] data, Camera camera)
    {
        rgb = new int[Pictures.PIC_LENGTH];
        sobelPic = new int[Pictures.PIC_LENGTH];
        grey = new int[Pictures.PIC_LENGTH];

        Pictures.decodeYUV420SP(rgb, data, width, height);

        switch (MainActivity.whichToDisplay)
        {
        case 1:                                     // 显示灰度图
            Pictures.convertToGrey(rgb, grey);
            display = grey;
            break;

        case 2:
            Pictures.convertToGrey(rgb, grey);      // sobel变换之后显示
            Pictures.sobel(grey, width, height, sobelPic);
            display = sobelPic;
            break;

        case 3:                                     // 二值化显示
            Pictures.convertToGrey(rgb, grey);
            Pictures.sobel(grey, width, height, sobelPic);
            Pictures.turnTo2(sobelPic);
            display = sobelPic;
            break;
        default:
            display = rgb;
        }
        bitmap = Bitmap.createBitmap(display, width, height, Config.RGB_565);
        MainActivity.setImageView(bitmap);

        autoFocus();
    }

首先将图片转换为RGB格式（为了方便处理），然后根据主界面的菜单选项切换不同的算法，并将不同的算法下的图片显示到ImageView上，最后进行对焦。

通常在做图像处理过程中，会先在MATLAB或者Visual Stuio中进行仿真。这需要不断的将图片导入→然后编译→最后输出。而用这款Android图像处理工具可以做到实时观测各种图像在不同算法下的结果图，相比之下更方便。只是现在支持的算法不多，今后有时间会继续学习一些常用的算法加入到软件中。我也会即时更新博客与大家分享。

大家如果有什么意见或者问题可以随时留言一起讨论~

APK下载地址：http://yun.baidu.com/share/link?shareid=515722756&uk=67973003
GitHub源码地址：https://github.com/hust-MC/Find_Different.git