AIC 此处模型选择我们只考虑模型参数数量，不涉及模型结构的选择。 很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之 ...
分类：
其他好文 时间：
2017-07-30 13:58:26
阅读次数：
603
对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。而对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。显然，这是从不同原理出发的两种参数 ...
分类：
其他好文 时间：
2017-07-28 21:00:21
阅读次数：
280
一、 三维绘图 quiver(x,y,u,v)函数：用来绘制二维方向的箭头图，在点(x,y)处用箭头显示对应于(u,v)的速度向量。 二、 统计绘图 1. box图主要用来进行图形化的检验，进行数据样本的box图，其函数为 a = normrnd(4,1,100,1);b = normrnd(5,1 ...
分类：
其他好文 时间：
2017-07-26 21:47:24
阅读次数：
149
所以我们有了我们的假设函数，我们有一种方法来测量它与数据的吻合程度。现在我们需要估计假设函数中的参数。这就是梯度下降的来源。想象我们图基于其领域θ0和θ1我们假设函数（实际上我们是图形的成本函数作为参数估计的函数）。我们不是绘制x和y本身，而是我们假设函数的参数范围和选择一组特定参数所产生的代价我们 ...
分类：
其他好文 时间：
2017-07-23 11:16:55
阅读次数：
151
1-参数估计与矩阵运算基础 2-凸优化 3- 广义线性回归和对偶优化 4-牛顿、拟牛顿、梯度下降、随机梯度下降(SGD) 5-熵、最大熵模型MaxEnt、改进的迭代尺度法IIS 6-聚类（k-means、层次聚类、谱聚类等） 7-K近邻、决策树、随机森林(random decision forest ...
分类：
其他好文 时间：
2017-07-18 15:35:12
阅读次数：
162
数学建模常用的十大算法==转 (2017-07-16 11:26:14) 转载▼ 数学建模常用的十大算法==转 转载▼ 1. 蒙特卡罗算法。该算法又称随机性模拟算法，是通过计算机仿真来解决问题的算法，同时可以通过模拟来检验自己模型的正确性，几乎是比赛时必用的方法。 2. 数据拟合、参数估计、插值等数 ...
分类：
编程语言 时间：
2017-07-16 16:39:34
阅读次数：
158
对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcal T$上进行对数似然函数$\mathcal L$的极大化。根据上一篇《条件随机场（三）》，我们知道线性链CRF的模型为 \begin{equation} p_{\vec {\lam ...
分类：
其他好文 时间：
2017-07-01 11:00:52
阅读次数：
214
第1章 随机事件与概率§1.1 随机事件§1.2 随机事件的概率§1.3 古典概型与几何概型§1.4 条件概率§1.5 事件的独立性 第2章 随机变量的分布与数字特征§2.1 随机变量及其分布§2.2 随机变量的数字特征§2.3 常用的离散型分布§2.4 常用的连续型分布§2.5 随机变量函数的分布 ...
分类：
其他好文 时间：
2017-06-22 11:06:58
阅读次数：
99
一、基本概念 假设检验和参数估计解决的是不同的问题，参数估计是对参数$\theta$作出一个估计比如均值为$\mu$，而假设检验则是对估计的检验，比如均值真的是$\mu$嘛？ 1. 定义 假设检验指的是使用统计学的方法判定某假设为真的概率. 通常假设检验包含以下四个步骤： 1.1 形成零假设null ...
分类：
其他好文 时间：
2017-06-17 19:31:53
阅读次数：
139
Eviews 操作 1、参数估计， 残差平方和等 Quick ——》Estimate equation——》输入：变量名 所选模型 ——》（stats,统计值）（Resids残差图）——》（方程 ） Proc ——》Make Model ——》Text 2、原始函数图 双击变量——》view——》G ...
分类：
其他好文 时间：
2017-06-14 23:29:17
阅读次数：
263
