最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总 ...
分类：
其他好文 时间：
2017-04-22 00:08:02
阅读次数：
221
０语言模型－N-Gram 语言模型就是给定句子前面部分，预测后面缺失部分 ｅｇ．我昨天上学迟到了，老师批评了____。 N-Gram模型： ，对一句话切词 我 昨天 上学 迟到 了 ，老师 批评 了 ____。 ２－N-Gram 会在语料库中找 了 后面最可能的词； ３－N-Gram 会在预料库中找 ...
分类：
其他好文 时间：
2017-04-15 20:19:39
阅读次数：
359
构造：输入神经元个数等于输入向量维度，输出神经元个数等于输出向量维度。（x1=(1,2,3),则需要三个输入神经元） 一 前向后传播 隐层： 输出层： 一般化，向量表示 二 反向传播 1计算梯度delta：均方误差，利用了sigmoid函数导数的有趣性。 输出层梯度： --> eg. 隐层梯度： - ...
分类：
其他好文 时间：
2017-04-15 12:28:05
阅读次数：
257
KPCA，中文名称”核主成分分析“，是对PCA算法的非线性扩展，言外之意，PCA是线性的，其对于非线性数据往往显得无能为力，例如，不同人之间的人脸图像，肯定存在非线性关系，自己做的基于ORL数据集的实验，PCA能够达到的识别率只有88%，而同样是无监督学习的KPCA算法，能够轻松的达到93%左右的识 ...
分类：
其他好文 时间：
2017-04-09 20:32:18
阅读次数：
317
如果感觉自己看不懂，那就看看我博客的梯度下降法，博文最后的感知机也算最简单的BP神经网络吧，用的也是反馈(w,b)：典型梯度下降法 BP网络的结构 BP网络的结构如下图所示，分为输入层(Input)，隐含层（Hidden），输出层(Output)。 输入层的结点个数取决于输入的特征个数。 输出层的结 ...
分类：
其他好文 时间：
2017-03-06 20:30:19
阅读次数：
176
上了一节陈欢欢老师的《信号与信息处理》，有一种“听君一席话，胜读十年书”的感觉，想尽量对于贝叶斯理解的更深刻一些，特地对课上的内容做以下总结。 贝叶斯定理的基本含义： 贝叶斯定理是由条件概率公式推导出来的，我们都知道条件概率公式为： ...
分类：
其他好文 时间：
2017-02-21 10:41:15
阅读次数：
158
前言 多层网络的训练需要一种强大的学习算法，其中BP（errorBackPropagation）算法就是成功的代表，它是迄今最成功的神经网络学习算法。 今天就来探讨下BP算法的原理以及公式推导吧。 神经网络 先来简单介绍一下神经网络，引入基本的计算公式，方便后面推导使用 图1 神经网络神经元模型 图 ...
分类：
编程语言 时间：
2017-02-18 18:47:52
阅读次数：
182
1.相对于旋转向量的雅克比2.相对于四元数的雅克比2.1相关公式2.2推导雅克比 1.相对于旋转向量的雅克比 这里在全局系下利用左扰动进行推导： ∂a′∂θ=∂Ra∂θ" role="presentat... ...
分类：
其他好文 时间：
2017-02-10 21:37:12
阅读次数：
243
1、课程内容 上节课中针对hypothesis set的分类问题，我们引入了成长函数，表示在数据集D上的hypothesis set可以分成种类的最大值，希望可以使用mH(N)来替代霍夫丁不等式中的M，如果mH(N)存在一个break point使得mH(N)的成长速度很慢是否一定可以使用mH(N) ...
分类：
其他好文 时间：
2017-01-30 11:39:53
阅读次数：
261
理清概念，在机器学习的公式推导中常常用到。比如SVD, LDA等。 ...
分类：
其他好文 时间：
2017-01-09 22:03:46
阅读次数：
344
