一、线性回归 一、线性回归 ? 假设有数据有 ，其中 , 。其中m为训练集样本数，n为样本维度，y是样本的真实值。线性回归采用一个多维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）。即有如下目标函数： 其中线性函数如下： ? ...
分类：
其他好文 时间：
2021-04-28 12:19:06
阅读次数：
0
逻辑回归 一、什么是逻辑回归 是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。主要思想是用最大似然概率方法构造方差，为最大化方差，利用牛顿梯度上升求解方差参数。 优缺点如下： 1 优点：计算代价不高，易于理解和实现。 2 缺点：容 ...
分类：
其他好文 时间：
2020-08-07 12:31:57
阅读次数：
64
参考链接1 参考链接2 一、介绍 极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。因此，频率派最关心极大似然函数，只要参数求出来了，给定自变量X，Y也就固定了，极大似然估计如下所示: D表示训练数据集，是模型参数 相反的，贝叶斯派认为参数也是随机 ...
分类：
其他好文 时间：
2020-06-09 23:27:55
阅读次数：
87
本福特定律 概率公式 贝叶斯公式 重要分布 Beta分布 事件的独立性 期望与方差 协方差 Pearson相关系数 切比雪夫不等式 大数定律 中心极限定理 最大似然估计 ...
分类：
其他好文 时间：
2020-06-03 23:10:13
阅读次数：
66
1.概述 利用语言模型来获得一个上下文相关的预训练表示，称为ELMo。它使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。 2.模型结构 3.双向语言模型 前向概率计算： 后向概率计算： t代表token，即词 最后将前向和后向合并 最 ...
分类：
其他好文 时间：
2020-05-18 09:30:05
阅读次数：
114
"TOC" 个人博客: 概率与似然 对于最大似然估计我们使用最简单的抛硬币问题来进行讲解 概率 当我们抛一枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为 概率 一枚质地均匀的硬币,在不考虑其他情况下是符合二项分布的,即正面和翻面的概率都是0.5,那么我们抛10次硬币5次正面在上 ...
分类：
其他好文 时间：
2020-05-03 10:48:22
阅读次数：
61
0.相关概念 数据：X 参数：theta 假设概率模型为：x~p(x|theta) 【xi服从于p(x|theta)，并且是独立同分布(iid)】 明确先验、后验和似然的概念： 似然(likelihood)：p(X|theta) 先验(prior)：p(theta)：(随机变量)参数theta所服从 ...
分类：
其他好文 时间：
2020-04-27 22:25:24
阅读次数：
66
预热知识必知如何求类条件概率密度：我们知道贝叶斯决策中关键便在于知道后验概率，那么问题便集中在求解类条件概率密度！那么如何求呢？答案便是：将类条件概率密度进行参数化。 最大似然估计和贝叶斯估计参数估计：鉴于类条件概率密度难求，我们将其进行参数化，这样我们便只需要对参数进行求解就行了，问题难度将大大降 ...
分类：
其他好文 时间：
2020-04-09 15:28:09
阅读次数：
85
前言：介绍了最简单的最大似然估计，距离实现「朴素贝叶斯」还有一些距离。在这篇文章，我想分享一下，我所理解的「最大似然估计 - 高斯分布」。 问题 （这里都是玩具数据，为了方便理解才列出） 0123456789101112 X 1 2 3 4 4.2 4.4 4.6 4.8 5 6 7 8 y 0 0 ...
分类：
其他好文 时间：
2020-04-07 20:02:22
阅读次数：
247
统计推断的两大学派 在统计领域，有两种对立的思想学派：贝叶斯学派和经典学派（也称频率学派），它们之间最重要的区别就是如何看待被估计的未知参数。贝叶斯学派的观点是将其看成是已知分布的随机变量，而经典学派的观点是将其看成未知的待估计的常量。 贝叶斯统计推断 具体来说，贝叶斯推断方法是将未知参数看做是一个 ...
分类：
其他好文 时间：
2020-03-30 19:27:46
阅读次数：
86
