标签:oid void vector read 读取 orm test 根据 start
在上述深度帧获取的基础上,利用unity的Mesh组件,将深度帧显示出来。
工具为Unity5.6、Kinect开发包KinectForWindows_UnityPro_2.0.1410
首先讲一个Mesh的应用
Mesh有多种方式实现,这里只用最简单的,通过设定顶点组成三角形集合的方式,主要工作是设定三个属性:
① vertices,顶点集合,Vector3类型,一般为所要显示的像素坐标集合,这里为深度帧每个像素的坐标值,其中z为深度值。
注意:Unity中顶点数量不能超过65000个。
②uv ,UV集合,Vector2类型,
③triangles,三角形所含顶点索引集合,int类型。在由三个顶点组合时,索引的顺序必须按照顺时针存储。
假设现有4个顶点 上左(1)上右(2)下左(3)下右(4),括号内位索引,则三角形1的存放顺序为1、2、3,三角形2的存放顺序为3、1、4。
基本实现思路是:
①根据深度帧的大小和采样频率,创建一个Mesh,为什么需要采样,因为顶点数不能太多,这时Mesh中的属性除了顶点的z坐标未确定外,其余都已经OK。
②获取深度帧,找到Mesh中每个顶点所对应的像素点,就找到了该顶点的深度值,这时z坐标也确定了,刷新,完成。
下面开始上代码:
1 定义变量
private KinectSensor _Sensor; //Kincet传感器 private DepthFrameReader _depthReader; //深度帧读取器 private ushort[] _depthData; //因为深度数据为2字节16bit,所以定为ushort存放数据 private Mesh _Mesh; //顶点集合 private Vector3[] _Vertices; //顶点的UV坐标集合 private Vector2[] _UV; //三角形的顶点集合,_Vertices中的 private int[] _Triangles; //only works at 4 right now //降频采样大小 private const int _DownsampleSize = 4; //实际距离与Unity内模型距离的缩放系数,若实际距离为4m,则在Unity中显示为0.04m private const float _DepthScale = 0.01f;
2.初始化
void Start () { _Sensor = KinectSensor.GetDefault (); if (_Sensor != null) { _depthReader = _Sensor.DepthFrameSource.OpenReader (); var frameDescript = _Sensor.DepthFrameSource.FrameDescription; //数组大小为整个像素的长度 _depthData = new ushort[frameDescript.LengthInPixels]; //创建Mesh网格 还差顶点的z值 即深度值,为了减少顶点数量 所以进行采样。 CreateMesh (frameDescript.Width / _DownsampleSize, frameDescript.Height / _DownsampleSize); } if (!_Sensor.IsOpen) _Sensor.Open (); }
3.创建Mesh网格,网格中顶点的数量为像素点的数量,width*height
void CreateMesh(int width,int height) { _Mesh = new Mesh (); GetComponent<MeshFilter> ().mesh = _Mesh; _Vertices = new Vector3[width * height]; _UV = new Vector2[width * height]; //三角形的数量等于横竖像素点减1“-1”后相乘 再乘以6 如下: _Triangles = new int[(width - 1) * (height - 1) * 6]; int triangleIndex = 0; for (int y = 0; y < height; y++) { for (int x = 0; x < width; x++) { //顶点的索引就是像素按照一行一行的记录,坐标值x,y为像素在平面的位置,z为深度值 int index = y * width + x; _Vertices [index] = new Vector3 (x, -y, 0); _UV [index] = new Vector2((float)x /width, (float)y /height); //确定三角形的顶点索引,每四个顶点确定两个三角形,每个三角形的顶点索引顺序为顺时针,否则不予显示 //忽略最后一行和列, if (x != (width - 1) && y != (height - 1)) { int top_left = index; int top_right = top_left + 1; int bottom_left = top_left + width; int bottom_right = bottom_left + 1; //第一个三角形 _Triangles [triangleIndex++] = top_left; _Triangles [triangleIndex++] = top_right; _Triangles [triangleIndex++] = bottom_left; //第二个三角形 _Triangles [triangleIndex++] = bottom_left; _Triangles [triangleIndex++] = top_right; _Triangles [triangleIndex++] = bottom_right; } } } _Mesh.vertices = _Vertices; _Mesh.uv = _UV; _Mesh.triangles = _Triangles; _Mesh.RecalculateNormals (); }
4获取深度值后,通过将深度数据赋予对应的顶点,显示深度图
//将深度数据赋予对应的顶点,显示深度帧数据, void ShowDepthView() { var frameDescript = _Sensor.DepthFrameSource.FrameDescription; //这里的x,y是没有采样的像素点,所以需要加采样频率才能和采样过的顶点集合想对应,x,y主要用来计算采样点和周围点的平均深度值 for (int y = 0; y < frameDescript.Height; y += _DownsampleSize) { for (int x = 0; x < frameDescript.Width; x += _DownsampleSize) { int indexX = x / _DownsampleSize; int indexY = y / _DownsampleSize; int smallIndex = (indexY*(frameDescript.Width/_DownsampleSize)) + indexX; //计算平均深度值 float avg = GetAvgDepth (x, y, frameDescript.Width, frameDescript.Height); _Vertices [smallIndex].z = avg * _DepthScale; } } _Mesh.vertices = _Vertices; _Mesh.uv = _UV; _Mesh.triangles = _Triangles; _Mesh.RecalculateNormals (); } float GetAvgDepth(int x,int y,int width,int height) {//计算平均深度值 double sum = 0; for (int y1 = y; y1 < y + _DownsampleSize; y1++) { for (int x1 = x; x1 < x + _DownsampleSize; x1++) { int index = y1 * width + x1; if (_depthData [index] == 0) sum += 4500;//表示超出范围 else sum += _depthData [index]; } } int count = _DownsampleSize * _DownsampleSize; return (float)(sum/count); }
5 获取深度数据,并显示
void Update () { if (_depthReader == null) return; var frame = _depthReader.AcquireLatestFrame (); if (frame != null) { frame.CopyFrameDataToArray (_depthData); ShowDepthView (); frame.Dispose (); frame = null; } }
6 释放
void OnApplicationQuit() { if (_depthReader != null) { _depthReader.Dispose (); _depthReader = null; } if (_Sensor != null) { if (_Sensor.IsOpen) { _Sensor.Close (); } _Sensor = null; } }
7效果,当取样频率为4时
标签:oid void vector read 读取 orm test 根据 start
原文地址:http://www.cnblogs.com/zhangyjblog/p/7524243.html