逻辑回归是广义线性模型的一种特殊情况，但是在前面这篇http://blog.csdn.net/zhangzhengyi03539/article/details/46574803 讲逻辑回归的时候没有说明为什么要采用单极型函数，这篇文章将会从浅入深的讲解一下广义线性模型。
首先来说一下指数分布族。...
分类：
其他好文 时间：
2015-07-11 09:18:34
阅读次数：
150
主要分享了Coursera 机器学习相关课程材料，包括练习题与我的Matlab解答。 课程涉及技术：梯度下降、线性回归、监督/非监督学习、分类/逻辑回归、正则化、神经网络、梯度检验/数值计算、模型选择/诊断、学习曲线、评估度量、SVM、K-Means聚类、PCA、Map Reduce & Data ...
分类：
系统相关 时间：
2015-07-11 06:41:10
阅读次数：
442
逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。后来发现在最优化领域中非常常用的l-BFGS方法对于Logistic Regression的收敛速度优化是不错的。l-BFGS方法...
分类：
其他好文 时间：
2015-06-30 18:02:00
阅读次数：
132
点击率预测和逻辑回归点击率预测从广告索引中我们得到很多的广告候选，这些广告从逻辑上都满足广告主的定向条件，即广告主定向条件的DNF范式，在竞价广告系统中，我们要选择一个最优的方案，最优的广告投送出来，一般最优的广告是通过eCpm进行排序，用广义第二高价进行排序，进行收费的模式。在CPC环境中eCpm...
分类：
其他好文 时间：
2015-06-30 14:50:05
阅读次数：
387
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
Netflix工程总监眼中的分类算法：深度学习优先级最低摘要：不同分类算法的优势是什么？Netflix公司工程总监Xavier Amatriain根据奥卡姆剃刀原理依次推荐了逻辑回归、SVM、决策树集成和深度学习，并谈了他的不同认识。他并不推荐深度学习为通用的分类技术。【编者按】针对Quora上的一...
分类：
编程语言 时间：
2015-06-20 16:57:48
阅读次数：
196
感知机算法属于比较简单的分类器算法，但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数，下面的算法基于随机梯度下降法，采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类：
编程语言 时间：
2015-06-19 23:06:59
阅读次数：
1995
Weighted Base Algorithm(1)基本算法引入权重
加权这类算法给每个数据一个权重，这个权重可以看做是该数据点有几份。在之前介绍的SVM算法中，对于一个错误扣除C的分数，而对错误加权之后，每个数据点将扣除C·un这个多的分数，这个参数经过二次规划的计算之后，就会到α的上限中去。
对于逻辑回归来说，un可以作为样本(xn,yn)的抽样比例。
这两个例子说明将权重系数放入具体...
分类：
其他好文 时间：
2015-06-11 22:57:59
阅读次数：
184
逻辑分布（Logistic distribution）公式 P(Y=1│X=x)=exp(x‘β)/(1+exp(x‘β)) 其中参数β常用极大似然估计。 Logit模型是最早的离散选择模型，也是目前应用最广的模型。 Logit模型的应用广泛性的原因主要是因为其...
分类：
其他好文 时间：
2015-06-11 09:40:08
阅读次数：
133
注：由于自己画图实在太难画，本文中基本所有插图来源于算法团子机器学习班，请勿转载
1.普通的机器学习模型：
其实，基本上所有的基本机器学习模型都可以概括为以下的特征：根据某个函数，将输入计算并输出。图形化表示为下图：
当我们的g(h)为sigmoid函数时候，它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时，它就是一个感知机。那么问题来了，这一类模型有明显缺陷：当模...
分类：
编程语言 时间：
2015-06-03 17:47:51
阅读次数：
10752
