使用线性模型进行回归学习，但若要做分类任务该怎么办呢？答案蕴含在广义线性模型中：只需要找一个单调可微的函数将分类任务的真实标记y与线性回归模型的预测值联系起来。 对数几率函数是一个常用的替代函数： 该函数的图像如下图（来源：维基百科）： 对数几率函数又称作“sigmoid函数”，将z值转化为一个接近 ...
分类：
编程语言 时间：
2017-09-04 22:37:03
阅读次数：
318
广义线性模型通过三条限定（指数族分布、输出期望、线性关系），为模型输出结果、特征和模型参数之间的关系问题提供了一个合理的解决方案。我们只需要将我们选择的概率分布写成指数族分布的形式，就能推导出模型输出结果与其它变量之间的关系。 ...
分类：
其他好文 时间：
2017-08-16 17:31:29
阅读次数：
113
一、基本形式 通过属性的线性组合来进行预测， 许多非线性模型可以在线性模型的基础上，引入层级结构或高维映射而得。 二、线性回归 最小二乘法：求解ω和b； 多元线性回归：样本由多个属性描述，即x为多维向量； 若矩阵不满秩产生多个解，解决方法：引入正则化项； 三、对数/逻辑线性回归 广义线性模型： g( ...
分类：
其他好文 时间：
2017-08-09 16:50:33
阅读次数：
140
在分类问题中我们如果： 他们都是广义线性模型中的一个样例，在理解广义线性模型之前须要先理解指数分布族。 指数分布族（The Exponential Family） 假设一个分布能够用例如以下公式表达，那么这个分布就属于指数分布族： 公式中y是随机变量；h(x)称为基础度量值（base measure ...
分类：
其他好文 时间：
2017-08-05 17:46:34
阅读次数：
157
介绍 经典线性模型自变量的线性预測就是因变量的预计值。 广义线性模型：自变量的线性预測的函数是因变量的预计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。 1.线性回归原理 当 ...
分类：
其他好文 时间：
2017-08-03 09:55:22
阅读次数：
149
本节内容 牛顿方法 指数分布族 广义线性模型 之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为其实梯度下降属于一种优化 ...
分类：
其他好文 时间：
2017-06-08 00:19:59
阅读次数：
299
广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。 Contents 1. 广义线性模型的认识 2. ...
分类：
其他好文 时间：
2017-06-05 19:23:26
阅读次数：
319
本讲内容 1. Newton's method（牛顿法） 2. Exponential Family（指数簇） 3. Generalized Linear Models(GLMs)（广义线性模型） 1.牛顿法 假如有函数, 寻找使得 牛顿法的步骤如下： (1) initialize as some ...
分类：
其他好文 时间：
2017-06-02 11:37:11
阅读次数：
377
1.1.2 Ridge Regression（岭回归） 岭回归和普通最小二乘法回归的一个重要差别是前者对系数模的平方进行了限制。例如以下所看到的： In [1]: from sklearn import linear_model In [2]: clf = linear_model.R linear ...
分类：
其他好文 时间：
2017-05-26 23:33:29
阅读次数：
344
本文简单整理了以下内容： （一）线性回归 （二）二分类：二项Logistic回归 （三）多分类：Softmax回归 （四）广义线性模型 二项Logistic回归是我去年入门机器学习时学的第一个模型，我觉得这个模型很适合用来入门（但是必须注意这个模型有很多很多很多很多可以展开的地方）。比较有意思的是那 ...
分类：
其他好文 时间：
2017-04-21 21:25:43
阅读次数：
634
