机器学习Machine Learning - Andrew NG
courses学习笔记
Large Scale Machine Learning大规模机器学习
Learning With Large Datasets大数据集学习
Stochastic Gradient Descent随机梯度下降
Mini-Batch Gradient Descent迷你批处理梯度下降...
分类：
系统相关 时间：
2015-04-06 20:20:23
阅读次数：
220
这篇博客针对的AndrewNg在公开课中未讲到的，线性回归梯度下降的学习率进行讨论，并且结合例子讨论梯度下降初值的问题。线性回归梯度下降中的学习率上一篇博客中我们推导了线性回归，并且用梯度下降来求解线性回归中的参数。但是我们并没有考虑到学习率的问题。我们还是沿用之前对于线性回归形象的理解：你站在山顶...
分类：
系统相关 时间：
2015-03-29 00:33:32
阅读次数：
300
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
感知机应该是机器学习里面最简单的模型了。读一遍文章也能理解作者想表达的意思。因为以前像梯度下降，多项式拟合，神经网络都在Andrew Ng的公开课上看过了。但是真正关于书中的公式却不怎么理解。一些简单的作者也没有推导。毕竟这是机器学习，不是微积分，或者线性代数，或者概率论。微积分，概率论，...
分类：
其他好文 时间：
2015-03-17 21:34:04
阅读次数：
296
f:\python_workspace\SGD>python gd.py
[ 5.68071667 -21.54721046]
[ 4.54457333 -17.23776836]
[ 3.63565867 -13.79021469]
[ 2.90852693 -11.03217175]
[ 2.32682155 -8.8257374 ]
[ 1.86145724 -7.060...
分类：
其他好文 时间：
2015-03-15 22:59:39
阅读次数：
155
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。
固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则...
分类：
编程语言 时间：
2015-03-15 00:52:06
阅读次数：
1015
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
上篇文章中，我们获得了人脸的各种表情模式，也就是一堆标注点的形变参数。这次我们需要训练一个人脸特征描述结构，它能够对人脸的不同部位(即“标注点”)分别进行描述，作为后面人脸跟踪、表情识别的区分依据。本次博文的主要内容：
a. 介绍下人脸特征检测器大概有哪些类别
b. 详细介绍随机梯度法，并介绍在人脸团块特征提取时的应用
c. 为了提高训练/跟踪的健壮性，利用上一...
分类：
其他好文 时间：
2015-02-28 23:06:17
阅读次数：
605
logistic regression ， 梯度下降法
分类：
其他好文 时间：
2015-02-14 18:48:35
阅读次数：
216
