python计算梯度非常简单，最重要的是一个函数grad，这个函数在theano.tensor里边。这个函数提供了多套机制 1计算单个自变量的梯度 2计算一个数据矩阵的梯度 3计算一个向量的梯度。针对不同的数据结构返回不同的结果（单个数值，向量，矩阵），顺序是一一对应的。走到这里感觉python是面...
分类：
其他好文 时间：
2015-01-20 22:06:15
阅读次数：
206
随机梯度上升法--一次仅用一个样本点来更新回归系数（因为可以在新样本到来时对分类器进行增量式更新，因而属于在线学习算法）梯度上升法在每次更新回归系统时都需要遍历整个数据集，该方法在处理100个左右的数据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度太高了。随机梯度上升算法伪代码...
分类：
其他好文 时间：
2015-01-20 20:05:00
阅读次数：
265
using (Graphics graphics = this.CreateGraphics()) {// graphics.Clear(Color.White); Pen pen = new Pen(Color.Red, 2); ...
分类：
其他好文 时间：
2015-01-20 15:27:41
阅读次数：
221
本文禁止任何爬虫爬取!来源：http://www.cnblogs.com/sciencefans/ 一直都持有一个观点，思考是最佳的学习途径（当然信息的获取是必不可少的），就像神经网络里，看书就是训练set的训练，思考则是最重要的求梯度BP的过程。2014年是一个神奇的一年，在这一年中发生了很多事....
分类：
其他好文 时间：
2015-01-20 06:11:37
阅读次数：
191
作者观察到，一般的物体，当归一化到某一个小的尺度上时，目标都有一个很好的了轮廓共性。也就是目标的边缘梯度比较明显，组合成为一个闭合的轮廓。这里指的目标是广义的，可以是任何类别的物体。（论文结论成立的依据）图a.表示原图像，图b表示梯度图像，然后作者缩放到了很多尺度，图c，是将梯度图像缩放到8x8以后...
分类：
其他好文 时间：
2015-01-19 22:17:24
阅读次数：
3570
利用图分割算法对图片进行分割是目前比较流行的算法之一。利用这种方法对图片进行分割时需要对相应的能量函数进行最小值搜索，当能量函数在定义域中属于凸函数时利用梯度下降法、EM等经典算法可以得到唯一的极值解，该解便是全局最小解。但是对于能量函数在定义域中不是凸函数，利用上面的经典算法很容易陷入局部极小值问题，从而很难得到理想效果。虽然采用模拟退火方法可以减轻陷入局部极小值可能性，但是这并不是最优的解法。...
分类：
编程语言 时间：
2015-01-19 19:14:47
阅读次数：
817
【machine learning】linear regression...
分类：
系统相关 时间：
2015-01-19 09:24:38
阅读次数：
246
今天继续看Numerical Optimization这本书，在看第六章，实用牛顿法。6.1 提到“不准确”的牛顿法。意思是每次确定迭代方向都要解方程，很慢，实际上也不一定要解出非常精确的迭代方向。于是尝试用一些迭代解法（例如，共轭梯度法）去解 H*x + G = 0这个方程。6.2 提到通过共轭梯...
分类：
其他好文 时间：
2015-01-16 13:02:20
阅读次数：
135
今天发现之前迭代过程的终止条件写错了，应该是梯度值小于某值时终止，而不是梯度值+Hessian*增量小于某值终止。因为增量本身就是求解 梯度值 + Hessian * x = 0 得来的啊。。。改掉了之后迭代次数明显增多，模拟速度变慢。应该允许用户设定迭代终止阈值，控制模拟精确度。但是，最重要的问题...
分类：
其他好文 时间：
2015-01-13 23:09:23
阅读次数：
259
