（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之 ...
分类：
其他好文 时间：
2016-04-21 01:17:59
阅读次数：
442
提纲： 1.回顾多元线性回归 在上一篇随笔中，说到了线性模型中最基本的一种--多元线性回归，其基本形式如图一所示： 图一 在多元线性回归中，模型的预测值都分布在一条直线上，所以只有当样本点的真实分布大致与所求到的直线的形状相同时，模型才能工作得很好。情况大致如图二所示： 图二 在图二中，我们认为样本 ...
分类：
其他好文 时间：
2016-04-17 17:33:15
阅读次数：
156
我们知道，混合线性模型是一般线性模型的扩展，而广义线性模型在混合线性模型的基础上又做了进一步扩展，使得线性模型的使用范围更加广阔。每一次的扩展，实际上都是模型适用范围的扩展，一般线性模型要求观测值之间相互独立、残差(因变量)服从正态分布、残差(因变量)方差齐性，而混合线性模型取消了观测值之间相互独立
分类：
其他好文 时间：
2016-01-31 17:17:30
阅读次数：
616
# 婚外情数据集data(Affairs, package = "AER")summary(Affairs)table(Affairs$affairs)# 用二值变量，是或否Affairs$ynaffair[Affairs$affairs > 0] |z|) (Intercept) 1....
分类：
编程语言 时间：
2015-12-04 17:54:58
阅读次数：
471
1、什么是指数分布族1.1 基本描述 指数型分布是一类重要的分布族，在统计推断中，指数型分布族占有重要的地位，在各领域应用广泛。许多的统计分布都是指数型分布，彼此之间具有一定的共性，在研究其统计性质与分布特征时，利用指数型分布族的特征，可以将这一族分布的特征分别表示出。在广义线性模型的统计推断...
分类：
其他好文 时间：
2015-11-08 20:36:25
阅读次数：
566
在方差分析中，我们初步介绍了线性模型的思想，实际上，线性模型只是方法分析的模型化，其统计检验仍然是依照方差分解原理进行F检验。线性模型作为一种非常重要的数学模型，根据分析目的可以分为线性回归模型和方差分析模型，根据表现形式又可以分为一般线性模型、广义线性模型、一般线性混合模型、广义线性混合模型。下面...
分类：
其他好文 时间：
2015-10-31 21:32:04
阅读次数：
457
个人总结： 1、这一篇文章主要是证明性的东西为主，所以说数学公式相对较多，原文笔记作者省略了一些东西，没有和上文很好衔接，所以初学者不一定看明白，建议结合斯坦福机器学习原文讲义（是英文的，没找到有全文...
分类：
其他好文 时间：
2015-10-10 14:11:05
阅读次数：
182
回头再温习一下Andrew Ng的机器学习视频课，顺便把没写完的笔记写完。本节内容
牛顿方法
指数分布族
广义线性模型
之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为θ:=θ?η?θ?(θ)\theta := \the...
分类：
其他好文 时间：
2015-10-06 16:56:25
阅读次数：
363
