一、Sparse Coding稀疏编码稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基向量 ，使得我们能将输入向量 表示为这些基向量的线性组合：也就是虽然形如主成分分析技术（PCA）能使我们方便地找到一组“完备”基向量，但是.....
分类：
其他好文 时间：
2014-08-27 14:21:27
阅读次数：
850
知道某个算法，和运用一个算法是两码事儿。当你训练出数据后，发觉模型有太大误差，怎么办？1）获取更多的数据。也许有用吧。2）减少特征维度。你可以自己手动选择，也可以利用诸如PCA等数学方法。3）获取更多的特征。当然这个方法很耗时，而且不一定有用。4）添加多项式特征。你在抓救命稻草么？5）构建属于你自己...
分类：
其他好文 时间：
2014-08-26 21:05:46
阅读次数：
889
数据挖掘经典算法国际权威的学术组织ICDM，于06年12月年评选出的数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.个人论文采用的是Apriori，所以针对于此...
分类：
其他好文 时间：
2014-08-23 22:52:21
阅读次数：
273
与KNN比较：KNN是计算未知类型数据与已知类型数据之间的距离，与数值计算相关。Decision Tree 先是在已知数据集上构造好一棵决策树，树中的每个分叉会用到一个特征，这就需要用到信息熵的概念，对每个特征计算信息熵 来使得分叉处选取到最好的特征对数据进行分类，（训练集选取好最佳特征，测试集就按...
分类：
其他好文 时间：
2014-08-23 15:22:50
阅读次数：
210
1：简单概念描述
Adaboost是一种弱学习算法到强学习算法，这里的弱和强学习算法，指的当然都是分类器，首先我们需要简单介绍几个概念。
1：弱学习器：在二分情况下弱分类器的错误率会高于50%。其实任意的分类器都可以做为弱分类器，比如之前介绍的KNN、决策树、Naïve Bayes、logiostic回归和SVM都可以。这里我们采用的弱分类器是单层决策树，它是一个单节点的决策树。...
分类：
其他好文 时间：
2014-08-18 22:07:03
阅读次数：
334
网易公开课，第15课 notes，11 参考， PCA本质是旋转找到新的基(basis)，即坐标轴，并且新的基的维数大大降低 ICA也是找到新的基，但是目的是完全不一样的，而且ICA是不会降维的 对于ICA，最经典的问题，“鸡尾酒会”问题 在鸡尾酒会，上很多人同时在说话，还有背景音乐，如果我们放若干...
分类：
其他好文 时间：
2014-08-15 17:33:09
阅读次数：
197
在 PCA 详细算法介绍 （http://blog.csdn.net/watkinsong/article/details/38536463） 中， 因为篇幅问题 没有给出详细的代码示例， 这里给出代码示例。
通过对人脸图像进行降维深入了解PCA算得使用。
首先看一下数据集， 我们有12张人脸图像， 用10张人脸训练PCA降维矩阵， 剩下的两张可以用作测试。...
分类：
其他好文 时间：
2014-08-13 22:40:47
阅读次数：
520
网易公开课，第14课 notes，10 之前谈到的factor analysis，用EM算法找到潜在的因子变量，以达到降维的目的 这里介绍的是另外一种降维的方法，Principal Components Analysis (PCA)， 比Factor Analysis更为直接，计算也简单些 主成分分...
分类：
其他好文 时间：
2014-08-13 17:52:06
阅读次数：
288
注：下面有project网站的大部分都有paper和相应的code。Code一般是C/C++或者Matlab代码。最近一次更新：2013-3-17一、特征提取Feature Extraction：·SIFT [1] [Demo program][SIFT Library] [VLFeat]·PCA-...
分类：
其他好文 时间：
2014-08-12 18:23:14
阅读次数：
439
上一节我们学习knn，kNN的最大缺点就是无法给出数据的内在含义，而使用决策树处理分类问题，优势就在于数据形式非常容易理解。 决策树的算法有很多，有CART、ID3和C4.5等，其中ID3和C4.5都是基于信息熵的，也是我们今天的学习内容。1. 信息熵 熵最初被用在热力学方面的，由热力学第二...
分类：
其他好文 时间：
2014-08-12 02:58:03
阅读次数：
2296
