1. 引言与PCA类似，Independent Components Analysis（ICA）同样是要找到一组新基去表示数据。但是目标大不相同。为了阐述动机，举一个例子，考虑“鸡尾酒会问题”。在酒会上，有 n 个演讲者同时讲话，房间里面的每一个麦克风都会记录所有演讲者声音混合起来的音频，但是由于每...
分类：
其他好文 时间：
2014-11-23 14:21:54
阅读次数：
316
在因子分析(Factor analysis)中，介绍了一种降维概率模型，用EM算法（EM算法原理详解）估计参数。在这里讨论另外一种降维方法：主元分析法(PCA)，这种算法更加直接，只需要进行特征向量的计算，不需要用到EM算法。 假设数据集表示 m 个不同类型汽车的属性，比如最大速度，转弯半径等...
分类：
其他好文 时间：
2014-11-22 16:03:37
阅读次数：
249
算法要点：knn（k-nearstneighbor）1：k：=最近邻点数，D：=training set of data2：for (待测点z)3：计算z和每个样例（x，y）的距离4：选择离z最近的k个训练样例的集合5：统计第4步得到的点哪一类多，则z就属于哪一类6：end for数据：librar...
分类：
编程语言 时间：
2014-11-21 23:14:59
阅读次数：
872
最近一个朋友问这方面的一些问题，其实之前也就很粗略的看了下fisher，真正帮别人解答问题的时候才知道原来自己也有很多东西不懂。下面小结下自己对fisher判别的理解： 其实fisher和PCA差不多，熟悉PCA的人都知道，PCA其实就是在寻找一个子空间。这个空间怎么来的呢，先求协方差矩阵，然后求这...
分类：
其他好文 时间：
2014-11-18 23:49:10
阅读次数：
688
kNN算法算法优缺点：优点：精度高、对异常值不敏感、无输入数据假定缺点：时间复杂度和空间复杂度都很高适用数据范围:数值型和标称型算法的思路：KNN算法（全称K最近邻算法），算法的思想很简单，简单的说就是物以类聚，也就是说我们从一堆已知的训练集中找出k个与目标最靠近的，然后看他们中最多的分类是哪个，就...
分类：
编程语言 时间：
2014-11-14 21:00:57
阅读次数：
321
train_data是训练特征数据, train_label是分类标签。Predict_label是预测的标签。MatLab训练数据, 得到语义标签向量 Scores(概率输出)。1.逻辑回归(多项式MultiNomial logistic Regression)Factor = mnrfit(tr...
分类：
其他好文 时间：
2014-11-13 20:41:50
阅读次数：
211
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, N...
分类：
编程语言 时间：
2014-11-08 14:58:18
阅读次数：
236
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, N...
分类：
编程语言 时间：
2014-11-06 12:23:39
阅读次数：
211
The paper:Hui Zou, Trevor Hastie, and Robert Tibshirani,Sparse Principal Component Analysis,Journal of computational and Graphical Statistics, 15(2): ...
分类：
其他好文 时间：
2014-11-06 00:42:42
阅读次数：
267
本文出处：http://blog.csdn.net/xizhibei=============================PCA，也就是PrincipalComponents Analysis，主成份分析，是个非常优秀的算法，依照书上的说法：寻找最小均方意义下，最能代表原始数据的投影方法然后自己...
分类：
编程语言 时间：
2014-11-05 12:10:03
阅读次数：
189
