这一讲主要是针对单变量的线性回归来讲两个基本概念：损失函数（cost function）、梯度下降(Gradient Descent)1 Cost Function
定义如下：
左图为cost function的定义。右边为只有一个参数的h(x)的情况。
cost function的作用的评价一个回归函数好坏用的，具体来说就是评价回归函数h(x)的参数选对没。
这里J(theta)也可以...
分类：
其他好文 时间：
2015-08-08 16:42:04
阅读次数：
142
*******************************************************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习...
分类：
其他好文 时间：
2015-08-08 15:01:04
阅读次数：
469
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷...
分类：
其他好文 时间：
2015-08-08 10:31:01
阅读次数：
270
HOG（Histogram of Oriented Gridients的简写）特征检测算法，最早是由法国研究员Dalal等在CVPR-2005上提出来的，一种解决人体目标检测的图像描述子，是一种用于表征图像局部梯度方向和梯度强度分布特性的描述符。...
分类：
编程语言 时间：
2015-08-07 14:43:50
阅读次数：
618
线性回归中提到最小二乘损失函数及其相关知识。对于这一部分知识不清楚的同学可以参考上一篇文章《线性回归、梯度下降》。本篇文章主要讲解使用最小二乘法法构建损失函数和最小化损失函数的方法。 最小二乘法构建损失函数 最小二乘法也一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的...
分类：
其他好文 时间：
2015-08-04 19:03:17
阅读次数：
143
最速下降法的影子在机器学习中正是无处不在，它简单实用。一、表示 在最速下降法中，对权值向量w的连续调整是在最速下降的方向上，即它是与梯度向量方向相反的，梯度向量记为（1），简记（2）： 其中，η是一个正常数，称为步长或学习率参数。g(n)是在w(n)处的梯度向量值。在从迭代n到n+1的过程中...
分类：
其他好文 时间：
2015-08-04 15:01:22
阅读次数：
107
Gradient(F)函数求的是数值上的梯度，假设F为矩阵.>>x=[6,9,3,4,0;5,4,1,2,5;6,7,7,8,0;7,8,9,10,0]x =693405412567780789 100>> [Fx,Fy]=gradient(x)Fx = 3.0000-1.5000-2.5000-....
分类：
其他好文 时间：
2015-08-04 13:24:42
阅读次数：
130
这里介绍三种边缘检测的方法， Sobel算子（索贝尔算子）， Laplacian算子（拉普拉斯算子） 和 Canny算子 的边缘检测。
Sobel算子
Sobel算子在一阶偏导上检测边缘，且能在水平（x 方向）和竖直（y 方向）分别作用。直观上，Sobel寻找这样的边缘：中间灰度值特别大，两边很小，即像素值出现跳跃的现象。我们可以通过求梯度值来确定。
x 和 y 两个方向的核函数如下：
?...
分类：
其他好文 时间：
2015-08-03 22:47:06
阅读次数：
339
Overview传统语言模型RNNsRNN 语言模型一些训练时重要的策略和技巧梯度消失和梯度爆炸的问题双向RNNs其他序列问题中的RNNsLanguage Models语言模型计算的是一连串词的概率：P(w1,w2…wT)；其中的w1,w2…wT都是词向量。这种语言模型有利于机器翻译，例如：1.词序：p(the cat is small) > p(small the is cat)2.词的选取：p(...
分类：
其他好文 时间：
2015-07-31 18:24:53
阅读次数：
227
在线最优化求解(Online Optimization)之五：FTRL在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现。有实验证明，L1-FOBOS这一类基于梯度下降的方法有比较高的精度，但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性。那么这两者的优点...
分类：
其他好文 时间：
2015-07-29 21:07:34
阅读次数：
345
