1，单值分解：线性代数的重要部分，已经被广泛用于模式识别中的降维和信息检索应用中。
2，独立成分分析
3，非负矩阵分解
4，非线性降维算法：① kernel PCA②基于图的方法（拉普拉斯算子，Local LinearEmbedding (LLE)，Isometric Mapping (ISOMAP)）
5，离散傅里叶变换
6，离散cos和sin变换
7，THEHADAMARD TRA...
分类：
其他好文 时间：
2014-07-22 14:31:58
阅读次数：
252
斯坦福ML公开课笔记15
我们在上一篇笔记中讲到了PCA(主成分分析)。PCA是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。
本文继续PCA的话题，包括PCA的一个应用——LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现——SVD(Singular Value Decomposition,奇异值分解)，在SVD和LSI结束之后，关于PCA的内容就告一段落。视频的后半段开始讲无监督学习的一种——ICA(Indepen...
分类：
其他好文 时间：
2014-07-22 14:16:14
阅读次数：
314
决策树的优势就在于数据形式非常容易理解，而kNN的最大缺点就是无法给出数据的内在含义。
1：简单概念描述
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
事件ai发生的概率用p(ai...
分类：
其他好文 时间：
2014-07-21 22:21:08
阅读次数：
360
1：算法简单描述
给定训练数据样本和标签，对于某测试的一个样本数据，选择距离其最近的k个训练样本，这k个训练样本中所属类别最多的类即为该测试样本的预测标签。简称kNN。通常k是不大于20的整数，这里的距离一般是欧式距离。
2：python代码实现
创建一个kNN.py文件，将核心代码放在里面了。
(1) 创建数据
#创造数据集
def createDataSet():
...
分类：
其他好文 时间：
2014-07-19 23:24:39
阅读次数：
300
1. PCAprincipal components analysis主要是通过对协方差矩阵Covariance matrix进行特征分解，以得出数据的主成分（即特征向量eigenvector）与它们的权值（即特征值eigenvalue）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理...
分类：
其他好文 时间：
2014-07-19 18:05:19
阅读次数：
190
原文：http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量，那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即：内积。首先，定义两个维数相同的向量的内积为：(a1,a2,...
分类：
其他好文 时间：
2014-07-18 14:05:16
阅读次数：
339
图像检索：二维直方图+flann+KNN+欧几里得距离...
分类：
其他好文 时间：
2014-07-12 16:33:53
阅读次数：
419
本篇主要介绍PCA(Principal Components Analysis, 主成分分析)，也是一种降维方法，但是该方法比较直接，只需计算特征向量就可以进行降维了。本篇对应的视频是公开课的第14个视频，该视频的前半部分为因子分析模型的EM求解，已写入笔记13，本篇只是后半部分的笔记，所以内容较少。...
分类：
其他好文 时间：
2014-07-09 12:45:57
阅读次数：
196
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, N...
分类：
其他好文 时间：
2014-07-09 00:04:28
阅读次数：
235
