BP(backpropgationalgorithm )：后向传导算法，顾名思义就是从神经网络的输出(顶层)到输入(底层)进行求解。那么求解什么呢，求解的就是神经网络中的参数的导数，即参数梯度方向，从而就可以使用梯度下降等求解无约束问题(cost function的最值)的方法求得最终的参数。神经网络前向传播的过程比较简单，这里不做讲解(如果不了解，可以参看文献)。
1.问题分析
1.1 Co...
分类：
编程语言 时间：
2015-06-21 02:09:05
阅读次数：
248
CNN公式推导
1 前言
在看此blog之前，请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文就是讲解文献[1]论文前部分公式的推导过程这里有一个假设，或许公式是错误的，如有好的理解请留言>。
2 CNN公式推导...
分类：
其他好文 时间：
2015-06-21 02:07:36
阅读次数：
4106
cosin余弦相似度
两个向量间的余弦值可以很容易地通过使用欧几里得点积和量级公式推导：
鉴于两个向量的属性， A 和B的余弦相似性θ用一个点积形式来表示其大小，如下所示：
产生的相似性范围从-1到1：-1意味着两个向量指向的方向正好截然相反，1表示它们的指向是完全相同的，0通常表示它们之间是独立的，而在这之间的值则表示中度的相似性或相异性。 对于文本匹配，属性向量A 和B 通常...
分类：
其他好文 时间：
2015-05-12 00:10:19
阅读次数：
840
已知n维随机变量\(\vec{X}=(X_{1},X_{2},...,X_{n})\)的协方差矩阵为\(C = \begin{bmatrix}c_{11} & c_{12} & ... & c_{1n} \\c_{21} & c_{22} & ... & c_{2n} \\. & .& &.\\.....
分类：
其他好文 时间：
2015-05-10 20:15:47
阅读次数：
217
分析：主要参考http://m.blog.csdn.net/blog/yinzm520/22721285这里的解题方法。
关键是要找到小车的运动状态，下面是分析和公式推导；
在小车转弯过程中，黄线是不断地变化的，变化规律是先增大再减小。所以抓住这一点，用三分法。先找一个变量，角度sita（就是上图中用红色标记的那个角），之后就是一系列的推导，算出黄线的长度。角度的范围是...
分类：
其他好文 时间：
2015-05-09 16:41:23
阅读次数：
319
初步打算把概率图模型中推断方法都介绍一下，包括Belief Propagation，变分方法，MCMC，以及像是Graph cut也做一些说明。
关于Belief Propagation是什么?
Belief Propagation是一种信息传递方法，一般用来解关于概率图模型中的推断问题，在这些问题中，单纯地通过公式推导或者MC模拟是很难得到准确答案的，这就需要BP，能够很有效地求解一些特定问题...
分类：
其他好文 时间：
2015-05-08 07:03:19
阅读次数：
284
引言 对于SVM的大致原理之前已经讲过了，但是对于公式的推导，很多书都并未做要求，而且在实际应用过程中并未涉及过深，但鉴于台大机器学习课程中讲到了，自己为了巩固自己的学习，也梳理一遍SVM中公式的推导 此处考虑了C，也就是惩罚因子，不再是之前的hard-margin 推导过程 如果是soft-mar...
分类：
其他好文 时间：
2015-04-28 17:40:34
阅读次数：
271
题解：
公式推导部分：见大爷博客http://blog.csdn.net/popoqqq/article/details/45148309
公式：
fi=b×fi?1+ (d?b2)4ai?2 f_i=b \times f_{i-1}+\frac {~(d-b^2)} {4}a_{i-2}
f0=2,f1=b f_0=2,f_1=b
矩阵：
???fi 0 fi?10???= ???f...
分类：
其他好文 时间：
2015-04-21 22:49:30
阅读次数：
185
推导过程首先，令化简：带入同除，整理得：由椭圆面积公式：（a不是题目中的a，b也不是题目中的b）知：又知：故：积分得：
分类：
其他好文 时间：
2015-04-12 20:52:51
阅读次数：
156
