感知机是简单的线性分类模型 ，是二分类模型。其间用到随机梯度下降方法进行权值更新。参考他人代码，用matlab实现总结下。 权值求解过程通过Perceptron.m函数完成 之后测试一下，总共8个二维点（为了画图观察选择2维数据），代码如下： 其显示图为： （完） ...
分类：
编程语言 时间：
2017-06-08 19:44:02
阅读次数：
271
解决一个机器学习问题的一般套路是先构建一个目标函数，然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等，常见的正则化方法有L1正则、L2正则等，常见的优化方法有梯度下降、随机梯度下降等。SVM也可以 ...
分类：
编程语言 时间：
2017-05-25 23:31:27
阅读次数：
263
17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 ...
分类：
系统相关 时间：
2017-05-14 10:37:02
阅读次数：
363
本文主要使用了对数几率回归法与线性判别法（ＬＤＡ）对数据集（西瓜３.０）进行分类。其中在对数几率回归法中，求解最优权重Ｗ时，分别使用梯度下降法，随机梯度下降与牛顿法。 代码如下： 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # @Date ...
分类：
其他好文 时间：
2017-05-12 19:08:30
阅读次数：
277
一，随机梯度下降法(Stochastic Gradient Descent) 当训练集很大且使用普通梯度下降法(Batch Gradient Descent)时，因为每一次\(\theta\)的更新，计算微分项时把训练集的所有数据都迭代一遍，所以速度会很慢 批量梯度下降法是一次性向计算m组数据的微分 ...
分类：
编程语言 时间：
2017-05-08 21:56:23
阅读次数：
218
本文简单整理了以下内容： （一）线性回归 （二）二分类：二项Logistic回归 （三）多分类：Softmax回归 （四）广义线性模型 二项Logistic回归是我去年入门机器学习时学的第一个模型，我觉得这个模型很适合用来入门（但是必须注意这个模型有很多很多很多很多可以展开的地方）。比较有意思的是那 ...
分类：
其他好文 时间：
2017-04-21 21:25:43
阅读次数：
634
1.前言
这几种方法呢都是在求最优解中经常出现的方法，主要是应用迭代的思想来逼近。在梯度下降算法中，都是围绕以下这个式子展开：
其中在上面的式子中hθ(x)代表，输入为x的时候的其当时θ参数下...
分类：
其他好文 时间：
2017-04-09 13:07:35
阅读次数：
341
1. 感知机学习模型 感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假 ...
分类：
其他好文 时间：
2017-04-07 23:42:03
阅读次数：
400
转自:here 注意下面说的全局最优是特殊的情况，一般还是梯度下降的方法还是很容易变成局部最优。 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式的角度对两者进行分析。 下面的h(x)是要拟合的函数，J(theta)损失函数，thet ...
分类：
其他好文 时间：
2017-03-28 19:35:47
阅读次数：
204
作者：辛俊波链接：https://www.zhihu.com/question/29291174/answer/44180349来源：知乎著作权归作者所有，转载请联系作者获得授权。 非大大，作为刚经历过校招的人说几句。1）笔试：投过的所有机器学习的校招岗位中，没有一个，哪怕是一个笔试环节是涉及到机器 ...
分类：
其他好文 时间：
2017-03-15 16:04:00
阅读次数：
617
