MLE（极大似然估计）与MAP（最大后验估计）在机器学习中是经常用到的参数估计的方法。都属于频率学派的参数估计。 一、极大释然估计（MLE) MLE在构造目标函数过程中非常常见。已知了观测的样本值为$D$，MLE核心思想是：假设我们已知了该样本内定的一个参数$\theta$,这个参数$\theta$ ...
分类：
其他好文 时间：
2021-06-02 11:21:36
阅读次数：
0
第一章基本概念 1.什么是模式识别 根据已有知识的表达，针对待识别模式，判别决策其所属类别或者预测其对应的回归值 分为分类和回归两种形式 2.模式识别数字表达 数学解释：看成一种函数映射f(x),将待识别模式x从输入空间映射到输出空间，f(x)是关于已有知识的表达 模型：关于已有知识的一种表达方式， ...
分类：
其他好文 时间：
2021-05-23 23:57:14
阅读次数：
0
一：问题描述 Learning问题就是参数估计问题，也就是求模型参数λ，具体形式为 ：λ_hat=argmax P(O|λ) 【通过最大化似然求得最优模型参数 λ；优化算法用EM，可类比GMM模型中求θ用的EM】 二、EM算法应用于HMM-learning模型的公式推导（具体可参考之前博客GMM：E ...
分类：
编程语言 时间：
2020-07-11 11:16:14
阅读次数：
99
推断统计 是研究如何利用样本数据来推断总体特征的统计方法 从样本信息外推到总体，以最终获得对总体问题的解答 今日内容 统计学的几个概念 概率分布 抽样分布 参数估计 假设检验 统计学的几个概念 变量 1 分类变量 无序分类变量 说明事物类别的一个名称，如性别有男女两种，二者无大小之分，无顺序之分，还 ...
分类：
其他好文 时间：
2020-06-26 14:33:05
阅读次数：
99
1 Introduction PEST（Parameter Estimation）是一个广泛适用的模型参数优化程序，需要给定初始参数，调用正模型，对比模型结果与观测值，在参数的给定范围内调整参数，达到收敛条件后，得到优化后的参数值。 运用PEST工具，不仅可以直接调用独立程序，也可以在地下水的主流商 ...
分类：
其他好文 时间：
2020-05-28 19:24:23
阅读次数：
114
一、概述 在生产和科学研究中，对某一个或者一组变量 x(t)x(t) 进行观察测量，将在一系列时刻 t1,t2,?,tnt1,t2,?,tn 所得到的离散数字组成的序列集合，称之为时间序列。时间序列分析是根据系统观察得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析常 ...
分类：
其他好文 时间：
2020-05-20 17:17:35
阅读次数：
116
极大似然估计 我们先从极大似然估计说起，来考虑这样的一个问题，在给定的一组样本x1,x2······xn中，已知它们来自于高斯分布N(u, σ)，那么我们来试试估计参数u，σ。 首先，对于参数估计的方法主要有矩估计和极大似然估计，我们采用极大似然估计，高斯分布的概率密度函数如下： 我们可以将x1，x ...
分类：
编程语言 时间：
2020-05-18 23:05:34
阅读次数：
130
在数学建模中常用的方法： 类比法、二分法、量纲分析法、差分法、变分法、图论法、层次分析法、数据 拟合法、回归分析法、数学规划（线性规划，非线性规划，整数规划，动态规划，目标规划） 、机理分析、 排队方法、对策方法、决策方法、模糊评判方法、时间序列方法、灰色理论方法、现代优化算法（禁忌搜 索算法，模拟 ...
分类：
其他好文 时间：
2020-04-24 21:35:33
阅读次数：
164
机器学习基础：朴素贝叶斯小结 CONTENTS "1. 全概率公式与贝叶斯公式" "2. 朴素贝叶斯的模型" "3. 朴素贝叶斯的推断过程" "4. 朴素贝叶斯的参数估计" "5. 朴素贝叶斯算法优缺点" "6. 代码实践" 1. 全概率公式与贝叶斯公式 $$ 全概率公式： P(X)=\sum_{k ...
分类：
其他好文 时间：
2020-04-21 13:07:28
阅读次数：
66
高斯分布 对于单维高斯分布而言，其概率密度函数可以表示成 $$ p(x)=\frac{1}{\sqrt{2 \pi}\sigma}e^{ \frac{(x u)^2}{2\sigma^2}} $$ 其中$u$表示均值，$\sigma^2$表示方差。 对于多维高斯分布而言，其概率密度函数可以表示成 $ ...
分类：
其他好文 时间：
2020-04-19 10:33:05
阅读次数：
100
