《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost 到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Ove....
分类：
系统相关 时间：
2015-06-21 18:26:21
阅读次数：
382
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
感知机算法属于比较简单的分类器算法，但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数，下面的算法基于随机梯度下降法，采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类：
编程语言 时间：
2015-06-19 23:06:59
阅读次数：
1995
这学期学了机器学习这门课，想趁期末看看台大的这门课再把课程梳理一遍。笔记可以参考这位博主，写得还不错：http://www.cnblogs.com/HappyAngel/p/3456762.html其中证明PLA算法确实能够越来越接近最完美的感知机以及PLA算法最后一定能停下来那部分非常的精彩。最后...
分类：
编程语言 时间：
2015-06-18 23:39:48
阅读次数：
194
感知机 假设：输入空间是 x?Rn 输出空间是 y＝{+1,-1} 由如下2.1函数进行分类称之为感知器 其中，w为权值向量，b为偏置 sign(.)是符号函数，记为如下所示： 感知机是一种线性分类模型，属于判别模型。 感知机模型的假设空间是定义在特征空间中的 所有线性分类模型（linear cla...
分类：
其他好文 时间：
2015-06-07 21:24:44
阅读次数：
120
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2015-06-06 06:48:06
阅读次数：
124
注：由于自己画图实在太难画，本文中基本所有插图来源于算法团子机器学习班，请勿转载
1.普通的机器学习模型：
其实，基本上所有的基本机器学习模型都可以概括为以下的特征：根据某个函数，将输入计算并输出。图形化表示为下图：
当我们的g(h)为sigmoid函数时候，它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时，它就是一个感知机。那么问题来了，这一类模型有明显缺陷：当模...
分类：
编程语言 时间：
2015-06-03 17:47:51
阅读次数：
10752
SVM1.概述SVM全称Support_Vector_Machine,即支持向量机，是机器学习中的一种监督学习分类算法，一般用于二分类问题。对于线性可分的二分类问题，SVM可以直接求解，对于非线性可分问题，其也可以通过核函数将低维映射到高维空间从而转变为线性可分。对于多分类问题，SVM经过适当的转换，也能加以解决。相对于传统的分类算法如logistic回归，k近邻法，决策树，感知机，高斯判别分析法(...
分类：
其他好文 时间：
2015-05-25 10:12:27
阅读次数：
183
SVM（支持向量机）是典型的二分类的判别式模型，这种方法以Rosenblatt于1957年提出的感知机模型的基础上，都是通过训练一个分类超平面之后，作为分类的决策函数，然后对未知的样本进行预测。通过对输入特征使用法向量和截距w=(w1,w2,...wn)、bw=(w_1,w_2,...w_n)、b进行线性组合，得到超平面，最终的决策函数也和感知机一样，为符号函数f(x)=sign(w? ?x? +b...
分类：
其他好文 时间：
2015-05-13 06:28:39
阅读次数：
291
Perceptron - 感知机，是一种二元线性分类器，它通过对特征向量的加权求和，并把这个”和”与事先设定的门槛值(threshold)做比较，高于门槛值的输出1，低于门槛值的输出-1。其中sign是取符号函数，括号中所包含的内容大于0时，取+1；小于0时，取-1。对h(x)做一些数学上的简化。变...
分类：
其他好文 时间：
2015-05-08 12:34:14
阅读次数：
140
