相对与网上很多人分享的有关PCA的经历，我第一次接触PCA却不是从人脸表情识别开始的，但我所在的实验室方向之一是人脸的研究，最后也会回到这个方向上来吧。PCA（principal components analysis）是一种非常有用的统计技术，它已经应用于人脸识别和图像压缩领域中，并且是高维数据计...
分类：
其他好文 时间：
2014-07-07 21:46:40
阅读次数：
1324
KNN最邻近规则，主要应用领域是对未知事物的识别，即推断未知事物属于哪一类，推断思想是，基于欧几里得定理，推断未知事物的特征和哪一类已知事物的的特征最接近；K近期邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比較成熟的方法，也是最简单的机器学习算法之中的一个。该方法的思路是...
分类：
其他好文 时间：
2014-07-07 15:33:04
阅读次数：
182
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, N...
分类：
其他好文 时间：
2014-07-06 19:26:24
阅读次数：
221
人脸识别中矩阵的维数n>>样本个数m。计算矩阵A的主成分，根据PCA的原理，就是计算A的协方差矩阵A'A的特征值和特征向量，但是A'A有可能比较大，所以根据A'A的大小，可以计算AA'或者A'A的特征值，原矩阵和其转置矩阵的特征值是一样的，只是特征向量不一样。假如我们的数据按行存放，A是m*n的矩阵...
分类：
其他好文 时间：
2014-07-01 00:50:18
阅读次数：
506
# -*- coding: utf-8 -*-"""Created on Wed Jun 18 11:46:15 2014@author: hp"""import numpy as npimport operatordef createDataSet(): group=np.random.ra...
分类：
其他好文 时间：
2014-06-21 13:30:34
阅读次数：
331
今天按照《机器学习实战》学习k-邻近算法，输入KNN.classify0([0,0],group,labels,3)的时候总是报如下的错误：Traceback(mostrecentcalllast):File"<pyshell#75>",line1,in<module>KNN.classify0([0,0],group,labels,3)File"KNN.py",line16,inclassify0diffMat=til..
分类：
其他好文 时间：
2014-06-17 17:05:39
阅读次数：
235
博客安排1.PCA原理及其应用(两篇）2.线性规划问题3.正则化方法3.拉格朗日乘法算子4.SVM5.ICA原理6.聚类分析7.EM算法8.推荐系统9.SVD10.高斯分布
分类：
其他好文 时间：
2014-06-10 15:04:35
阅读次数：
270
KNN最邻近规则，主要应用领域是对未知事物的识别，即判断未知事物属于哪一类，判断思想是，基于欧几里得定理，判断未知事物的特征和哪一类已知事物的的特征最接近；K最近邻(k-Nearest
Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果...
分类：
其他好文 时间：
2014-06-04 16:22:30
阅读次数：
399
一、PCA:PCA是一种用来对图像特征降维的方法，PCA通过将多个变量通过线性变换以选出较少的重要变量。它往往可以有效地从过于“丰富”的数据信息中获取最重要的元素和结构，去除数据的噪音和冗余，将原来复杂的数据降维，揭示隐藏在复杂数据背后的简单结构。近年来，PCA方法被广泛地运用于计算机领域，如数据降...
分类：
其他好文 时间：
2014-05-25 20:43:34
阅读次数：
288
在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。
为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们都包含了N个维的特征，即X=（x1， x2， x3， ...
分类：
其他好文 时间：
2014-05-25 07:01:04
阅读次数：
317
