机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同，Logistic回归是一类分类问题，而前者是回归问题。回归问题中，尝试预测的变量y是连续的变量，而在分类问题中，y是一组离散的，比如y只能取{0,1}。 假设一组样本为这样如图所示，如果需要用线性回归来拟合这些样本...
分类：
其他好文 时间：
2014-09-11 23:45:12
阅读次数：
348
在Lecture4中有3部分内容： Newton’s method 牛顿方法 Exceponential Family 指数分布族 Generalized Linear Models 广义线性模型（GLMS） 牛顿法上一篇随便中已经讲过了，是平行于梯度下降算法的另一种最优化算法。 然后，视频中证明了...
分类：
其他好文 时间：
2014-09-11 18:59:42
阅读次数：
278
机器学习(3)之最小二乘法的概率解释在前面梯度下降以及正规方程组求解最优解参数Θ时，为什么选择最小二乘作为计算参数的指标，使得假设预测出的值和真正y值之间面积的平方最小化？我们提供一组假设，证明在这组假设下最小二乘是有意义的，但是这组假设不唯一，还有其他很多方法可以证明其有意义。（1）假设1：假设输...
分类：
其他好文 时间：
2014-09-11 01:02:41
阅读次数：
291
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
机器学习(2)之线性回归上一章介绍了梯度下降算法的线性回归，本章将介绍另外一种线性回归，它是利用矩阵求导的方式来实现梯度下降算法一样的效果。1. 矩阵的求导首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n这里要用到矩阵迹的特性，trace. 对于一个n阶...
分类：
其他好文 时间：
2014-09-09 11:49:28
阅读次数：
182
机器学习(1)之梯度下降(gradient descent)题记:最近零碎的时间都在学习Andrew Ng的machine learning，因此就有了这些笔记。梯度下降是线性回归的一种(Linear Regression)，首先给出一个关于房屋的经典例子，面积(feet2)房间个数价格（1000$...
分类：
其他好文 时间：
2014-09-06 01:00:52
阅读次数：
260
线性回归与梯度下降算法作者：上品物语知识点：线性回归概念梯度下降算法 l 批量梯度下降算法 l 随机梯度下降算法 l 算法收敛判断方法1.1 线性回归在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行...
分类：
其他好文 时间：
2014-09-02 19:26:35
阅读次数：
655
这一周主要用CUDA实现了BP前馈神经网络，但是一路也遇到了很多问题。1. 批梯度下降时修改权值与偏置时候没有将累积的误差项/偏置项除以总样本数，导致每次修改值远远大于真实值，程序最后全1或全0. 我最后用matlab运行时候，结合李春光老师的神经计算课件找到了这个bug2.CUDA运行多块多线程并...
分类：
其他好文 时间：
2014-08-30 02:21:28
阅读次数：
299
关于什么是梯度下降，请看我之前发的一个博文：http://blog.csdn.net/lilyth_lilyth/article/details/8973972
梯度下降能帮助我们找到局部最优值，取得很小的损失，但是在数据量达到数十万时，迭代次数高，运算速度慢，十分不适合。这时候可以考虑使用随机梯度下降算法。
所谓随机梯度下降是 每次用 每个样本的损失函数（即样本数为1时的损失函数）对th...
分类：
其他好文 时间：
2014-07-23 13:39:56
阅读次数：
256
本文是Andrew Ng在Coursera的机器学习课程的笔记。整体步骤确定网络模型初始化权重参数对于每个样例，执行以下步骤直到收敛计算模型输出：forward propagation计算代价函数：比较模型输出与真实输出的差距更新权重参数：back propagation确定网络模型神经网络模型由输...
分类：
其他好文 时间：
2014-07-22 23:36:27
阅读次数：
376
