代码： 1 import numpy as np 2 import csv 3 import math as mt 4 5 def hypo(tt,xx): #hypothesis函数 6 exp=mt.e 7 tmp=0.0 8 for i in range...
分类：
其他好文 时间：
2015-06-14 18:11:23
阅读次数：
141
随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比分类：梯度下降最优化2013-05-25 21:2122978人阅读评论(16)收藏举报梯度下降最优化迭代梯度下降（GD）是最小化风险函数、损失...
分类：
其他好文 时间：
2015-05-21 12:07:43
阅读次数：
156
隐语义模型：物品 表示为长度为k的向量q（每个分量都表示 物品具有某个特征的程度）用户兴趣 表示为长度为k的向量p（每个分量都表示 用户对某个特征的喜好程度）用户u对物品i的兴趣可以表示为 其损失函数定义为- 使用随机梯度下降，获得参数p,q负样本生成：对于只有正反馈信息（用户收藏了，关注了...
分类：
其他好文 时间：
2015-04-09 23:26:50
阅读次数：
476
机器学习Machine Learning - Andrew NG
courses学习笔记
Large Scale Machine Learning大规模机器学习
Learning With Large Datasets大数据集学习
Stochastic Gradient Descent随机梯度下降
Mini-Batch Gradient Descent迷你批处理梯度下降...
分类：
系统相关 时间：
2015-04-06 20:20:23
阅读次数：
220
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
上篇文章中，我们获得了人脸的各种表情模式，也就是一堆标注点的形变参数。这次我们需要训练一个人脸特征描述结构，它能够对人脸的不同部位(即“标注点”)分别进行描述，作为后面人脸跟踪、表情识别的区分依据。本次博文的主要内容：
a. 介绍下人脸特征检测器大概有哪些类别
b. 详细介绍随机梯度法，并介绍在人脸团块特征提取时的应用
c. 为了提高训练/跟踪的健壮性，利用上一...
分类：
其他好文 时间：
2015-02-28 23:06:17
阅读次数：
605
本文是关于用SGD解如下四个问题\begin{align*} \mbox{SVM}: & \ \ \min_{\boldsymbol{w}} \ \frac{\lambda}{2} \|\boldsymbol{w}\|_2^2 + \frac{1}{M} \sum_{m=1}^M \max (0.....
分类：
其他好文 时间：
2015-01-28 06:08:01
阅读次数：
167
随机梯度上升法--一次仅用一个样本点来更新回归系数（因为可以在新样本到来时对分类器进行增量式更新，因而属于在线学习算法）梯度上升法在每次更新回归系统时都需要遍历整个数据集，该方法在处理100个左右的数据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度太高了。随机梯度上升算法伪代码...
分类：
其他好文 时间：
2015-01-20 20:05:00
阅读次数：
265
线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
