对于形如 的线性回归。 假设，当的n个数据。注意这里表示第i个数据，且他有m个维度。 对于h(X)，这里的目标其实就是估计出，模型就确定了。这个的计算可以通过最小二乘来估计。 从极大似然的角度来说： h（X）是假设，但这个模型往往和实际值有差距，通过增加误差来拟合给定数据更加合理。假设误差是独立同分 ...
分类：
其他好文 时间：
2017-10-17 10:04:23
阅读次数：
113
指数分布族前面学习了线性回归和logistic回归。对于\(P(y|x;\theta)\)若y属于实数，满足高斯分布，得到基于最小二乘法的线性回归；若y取{0,1}，满足伯努利分布，得到Logistic回归。这两个算法，其实都是广义线性模型的特例。考虑上述两个分布，伯努利分布和高斯分布：1) 伯努利... ...
分类：
其他好文 时间：
2017-10-14 18:35:39
阅读次数：
172
a. 一元高斯分布 b. 多元高斯分布 c. 似然函数 d. 独立同分布(i.i.d —> independent and identically distributed) 给定一个样本集合，其中样本都取自于同一个分布，且彼此之间相互独立，称之为独立同分布；其特性就是这些样本的联合概率，为它们各自的 ...
分类：
其他好文 时间：
2017-09-18 10:46:27
阅读次数：
315
一、EM算法的预备知识 1、极大似然估计 （1）举例说明：经典问题——学生身高问题 我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是 ...
分类：
编程语言 时间：
2017-09-12 15:53:23
阅读次数：
188
参考：http://blog.csdn.net/google19890102/article/details/50522945 0-1损失函数 平方损失函数（最小二乘法） 最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分 ...
分类：
其他好文 时间：
2017-09-06 15:36:50
阅读次数：
234
一、 x = np.random.normal(size=100) #随机生成100个高斯分布的数据（均值为0，方差为1） sns.distplot(x,kde=False) #绘制直方图（自动设定轴的区间） #kde=False表示不画出拟合曲线，kde=True表示同时画出拟合曲线 二、根据均值 ...
分类：
其他好文 时间：
2017-08-31 12:40:19
阅读次数：
219
~：服从于，这里是x服从于高斯分布的意思。 随着离μ的距离不断增大p(x)逐渐趋向于0. 参数对高斯公式图像的影响，但是高斯公式的总面积始终为1 参数的值 ...
分类：
其他好文 时间：
2017-08-24 10:48:54
阅读次数：
261
1.数据的标准化 标准化的原因： 在于如果有些特征的方差过大，则会主导目标函数从而使参数估计器无法正确地去学习其他特征。 消除量纲的影响。把一个百分制的变量与一个5分值的变量标准化到同一个量纲时才具有可比性 1.1 z_score标准化将特征数据的分布调整成标准正态分布，也叫高斯分布。代码实现：fr ...
分类：
其他好文 时间：
2017-08-23 23:04:49
阅读次数：
228
多元高斯(正态)分布 多元高斯分布有两个参数u和Σ,u是一个n维向量，Σ协方差矩阵是一个n*n维矩阵。改变u与Σ的值可以得到不同的高斯分布。 参数估计（参数拟合），估计u和Σ的公式如上图所示，u为平均值，Σ为协方差矩阵 使用多元高斯分布来进行异常检测 首先用我我们的训练集来拟合参数u和Σ，从而拟合模 ...
分类：
其他好文 时间：
2017-08-23 20:48:11
阅读次数：
174
估计P(x)的分布--密度估计 我们有m个样本，每个样本有n个特征值，每个特征都分别服从不同的高斯分布，上图中的公式是在假设每个特征都独立的情况下，实际无论每个特征是否独立，这个公式的效果都不错。连乘的公式表达如上图所示。 估计p(x)的分布问题被称为密度估计问题（density estimatio ...
分类：
编程语言 时间：
2017-08-18 23:43:04
阅读次数：
281
