上一篇笔记中，介绍了因子分析模型，因子分析模型使用d维子空间的隐含变量z来拟合训练数据，所以实际上因子分析模型是一种数据降维的方法，它基于一个概率模型，使用EM算法来预计參数。本篇主要介绍PCA(Principal Components Analysis, 主成分分析)，也是一种降维方法，可是该方法...
分类：
其他好文 时间：
2015-05-18 14:41:29
阅读次数：
145
学习 machine learning 的最低要求是什么？ 我发觉要求可以很低，甚至初中程度已经可以。 首先要学习一点 Python 编程，譬如这两本小孩子用的书：【1】【2】便可。 数学方面，只需要知道「两点间距离」的公式（中学的座标几何会读到）。这本书第二章介绍 kNN 算法，包括 Pytho....
分类：
编程语言 时间：
2015-05-17 21:27:52
阅读次数：
260
人脸识别是一项实用的技术。但是这种技术总是感觉非常神秘，在sklearn中看到了人脸识别的example，代码网址如下：
http://scikit-learn.org/0.13/auto_examples/applications/face_recognition.html#example-applications-face-recognition-py
首先介绍一些PCA和SVM的功能...
分类：
编程语言 时间：
2015-05-16 12:03:24
阅读次数：
732
这一部分属于无监督学习的内容，无监督学习内容主要包括：Kmeans聚类算法、高斯混合模型及EM算法、Factor Analysis、PCA、ICA等。本文是Kmeans聚类算法、高斯混合模型的笔记，EM算法是适用于存在latent/hidden变量的通用算法，高斯混合模型仅仅是EM算法的一种特殊情况，关于EM算法的推到参见Andrew Ng讲义。由于公式太多，最近时间又忙实习的事就简单写一些，回头...
分类：
其他好文 时间：
2015-05-15 20:02:24
阅读次数：
683
一、主成分分析
主成分分析流程
1、原始数据标准化。
2、计算标准化变量间的相关系数矩阵。
3、计算相关系数矩阵的特征值和特征向量。
4、计算主成分变量值。
5、统计结果分析，提取所需的主成分。
相关系数公式
主成分计算公式
其中Y是主成分变量矩阵，X是原始数据标准化后的矩阵，U是相关系数矩阵的特征向量。
特征值和特征向量的关系
主成分变量对应...
分类：
其他好文 时间：
2015-05-15 17:43:46
阅读次数：
1957
张量是一种高维数据的组织方法。类似于一维的标量，二维的向量，三维及以上的数据统称为张量。传统的方法（例如PCA、SVD和LDA）对于维数比较高的数据，一般通过“硬”方法，直接降维成二维的数据形式（矩阵）进行处理。近些年，出现的2DPCA，2DSVD等新方法，是通过双向的对二维数据进行处理，在处理的过...
分类：
其他好文 时间：
2015-05-14 16:07:35
阅读次数：
259
Caffe4——计算图像均值均值削减是数据预处理中常见的处理方式，按照之前在学习ufldl教程PCA的一章时，对于图像介绍了两种：第一种常用的方式叫做dimension_mean（个人命名），是依据输入数据的维度，每个维度内进行削减，这个也是常见的做法；第二种叫做per_image_mean，ufl...
分类：
其他好文 时间：
2015-05-14 16:04:03
阅读次数：
4348
理论部分可以看斯坦福大学的那份讲义，通俗易懂。 opencv中有PCA这个类，具体的实现可参考：http://www.cnblogs.com/zcftech/archive/2013/04/13/3017411.html 和http://www.cnblogs.co...
分类：
其他好文 时间：
2015-05-11 23:43:38
阅读次数：
179
这里模仿了Word2vec里面构建Hash索引的思想。#include
#include
#include
#include
#include
#include
#include
#define MaxString 50
#define MaxUserSi...
分类：
编程语言 时间：
2015-05-11 16:10:04
阅读次数：
148
