本文基于台大机器学习技法系列课程进行的笔记总结。
一、主要内容
topic 1 深度神经网络结构
从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换，也就是特征抽取。一般的隐藏层（hidden layer）较少的类神经网络结构我们称之为shallow，而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示：
从两者的对比中可以明显...
分类：
其他好文 时间：
2015-07-16 17:04:07
阅读次数：
267
主因子分析，在炼数成金课程中提到：?降维的一种方法，是主成分分析的推广和发展?是用于分析隐藏在表面现象背后的因子作用的统计模型。试图用最少个数的不可测的公共因子的线性函数与特殊因子之和来描述原来观测的每一分量?例子：各科学习成绩（数学能力，语言能力，运劢能力等）?例子：生活满意度（工作满意度，家庭满...
分类：
编程语言 时间：
2015-06-29 23:57:03
阅读次数：
311
http://matlabdatamining.blogspot.com/2010/02/principal-components-analysis.html英文Principal Components Analysis的博客，写的挺好，担心以后打不开，全文转载。Principal Componen...
分类：
其他好文 时间：
2015-06-25 20:56:28
阅读次数：
128
降维（一）----说说主成分分析(PCA)的源头降维系列：降维（一）----说说主成分分析(PCA)的源头降维（二）----Laplacian Eigenmaps---------------------主成分分析（PCA）在很多教程中做了介绍，但是为何通过协方差矩阵的特征值分解能够得到数据的主成分...
分类：
其他好文 时间：
2015-06-19 21:29:49
阅读次数：
199
降维（二）----Laplacian Eigenmaps降维系列：降维（一）----说说主成分分析(PCA)的源头降维（二）----Laplacian Eigenmaps---------------------前一篇文章中介绍了主成分分析。PCA的降维原则是最小化投影损失，或者是最大化保留投影后数...
分类：
其他好文 时间：
2015-06-19 21:29:35
阅读次数：
198
问题：如果IR在该文件中，我们已经建立-词项矩阵。有两个词条目“learn”和“study”。在传统的向量空间模型，两个独立的感觉。从语义的角度来讲，两者是相似的。并且两者出现频率也类似。是不是能够合成为一个特征呢？ 《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征...
分类：
其他好文 时间：
2015-06-11 19:12:11
阅读次数：
123
首先将本节主要内容记录下来，然后给出课后习题的答案。
笔记：
1：首先我想推导用SVD求解PCA的合理性。
PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在Andrew
Ng的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的...
分类：
其他好文 时间：
2015-06-09 11:56:02
阅读次数：
200
转自：http://blog.sina.com.cn/s/blog_a032adb90101k47u.html什么是权重呢？所谓权重，是指某指标在整体评价中的相对重要程度。权重越大则该指标的重要性越高，对整体的影响就越高。权重要满足两个条件：每个指标的权重在0、1之间。所有指标的权重和为1。权重的确...
分类：
其他好文 时间：
2015-05-28 12:19:58
阅读次数：
160
def pca(dataMat, topNfeat=9999999): #数据矩阵, 输出前topNfeat个feat
meanVals = mean(dataMat, axis=0) # 计算平均值
meanRemoved = dataMat - meanVals
covMat = cov(meanRemoved, rowvar...
分类：
编程语言 时间：
2015-05-23 06:29:48
阅读次数：
191
