分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
梯度下降例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：
根据给出的数据得到函数...
分类：
其他好文 时间：
2015-06-20 17:06:49
阅读次数：
207
感知机算法属于比较简单的分类器算法，但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数，下面的算法基于随机梯度下降法，采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类：
编程语言 时间：
2015-06-19 23:06:59
阅读次数：
1995
对SVM的个人理解之前以为SVM很强大很神秘，自己了解了之后发现原理并不难，不过，“大师的功力在于将idea使用数学定义它，使用物理描述它”，这一点在看SVM的数学部分的时候已经深刻的体会到了，最小二乘法、梯度下降法、拉格朗日乘子、对偶问题等等被搞的焦头烂额。在培乐园听了讲课之后才算比较清晰的了解了...
分类：
其他好文 时间：
2015-06-19 21:32:03
阅读次数：
278
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
回归问题(Regression)例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：...
分类：
其他好文 时间：
2015-06-19 10:40:03
阅读次数：
180
代码： 1 import numpy as np 2 import csv 3 import math as mt 4 5 def hypo(tt,xx): #hypothesis函数 6 exp=mt.e 7 tmp=0.0 8 for i in range...
分类：
其他好文 时间：
2015-06-14 18:11:23
阅读次数：
141
1.梯度下降1.1批梯度下降eg1：用梯度下降法确定h(x)=x^2-t*x-t中参数t的值注意迭代因子的选择很重要QAQ，如果程序结果成了发散的就要看看是不是迭代因子选的不好。【最后那个-0.01是无意中试出来的QwQ 1 def hypo(t,x): #precise answ...
分类：
编程语言 时间：
2015-06-11 22:29:39
阅读次数：
145
机器学习中梯度下降（Gradient Descent， GD）算法只需要计算损失函数的一阶导数，计算代价小，非常适合训练数据非常大的应用。梯度下降法的物理意义很好理解，就是沿着当前点的梯度方向进行线搜索，找到下一个迭代点。但是，为什么有会派生出 batch、mini-batch、online这些GD...
分类：
编程语言 时间：
2015-06-06 19:23:07
阅读次数：
237
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2015-06-06 06:48:06
阅读次数：
124
#Gradient Descent 梯度下降法#x为数据矩阵（mxn m:样本数 n:特征数 ）;y观测值(mx1);error相邻两次迭代的最大误差;#step为设定的固定步长;maxiter最大迭代次数,alpha,beta为回溯下降法的参数# 在直接设置固定的step时，不宜设置的过大，当步长...
分类：
其他好文 时间：
2015-06-04 21:01:28
阅读次数：
229
在机器学习中，无论是分类还是回归，都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有
（1）减少特征，留取最重要的特征。
（2）惩罚不重要的特征的权重。
但是通常情况下，我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合，提高泛化能力。
先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说，在代价函数后面加上一个正则化项，得到...
分类：
其他好文 时间：
2015-05-30 13:35:15
阅读次数：
183
