1. 基本方法设$X, Y$分别是定义在输入空间和输出空间上的随机变量。$P(X,Y)$是$X$和$Y$的联合概率分布。训练数据集\begin{equation}T = \{(x_1, y_1), (x_2, y_2),...,(x_n, y_n) \}\end{equation}由$P(X,Y)$...
分类：
其他好文 时间：
2014-08-22 08:10:05
阅读次数：
212
1 随机变量的概念顾名思义，随机变量就是“其值随机会而定”的变量。随机变量的反面是“确定性变量”，即其值遵循某种严格的规律的变量，比如从北京到上海的距离。但是从绝对意义上讲，许多通常视为确定性变量的量，本质上都有随机性，只是由于随机性干扰不大，以至在所要求的精度之内，不妨把经作为确定性变量来处理。根...
分类：
其他好文 时间：
2014-08-12 18:33:54
阅读次数：
418
0、基石——贝叶斯推断计算后验概率即为我们对参数的估计：其中： ——输入数据 ——待估计的参数 ——似然分布 ——参数的先验分布对新样本的预测：我们要估计的概率1、常用的概率分布Dirichlet Distribution2、文本建模2.1 基本模型——unigram model最基本的一种文本模型...
分类：
其他好文 时间：
2014-08-09 02:24:56
阅读次数：
234
神经网络模型一、神经网络模型 对网络模型的研究始于20世纪40年代，作为一门交叉学科，它是人类基于对其大脑神经认识的基础上，人工构造实现某种功能的网络模型。经过将近70年的发展，神经网络模型已成为机器学习的典型代表，它不依照任何概率分布，而是模仿人脑功...
分类：
其他好文 时间：
2014-07-31 02:39:15
阅读次数：
348
算法简介
主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。主要用于对特征进行降维。
算法假设
数据的概率分布满足高斯分布或是指数型的概率分布。方差高的向量视为主元。...
分类：
其他好文 时间：
2014-07-29 14:32:48
阅读次数：
196
1.model specificationbinomial logistic regression model是一种分类模型。条件概率分布为： 伯努利分布其中， 2.Maximum Likelihood Estimation由于Hessian矩阵正定，因此NLL是个凸函数，有全局最小值。可以使用梯度...
分类：
其他好文 时间：
2014-07-26 14:11:14
阅读次数：
196
简介：在概率统计中有两种主要的方法：参数统计和非参数统计（或者说参数估计和非参数估计）。 其中，参数估计是概率统计的一种方法。主要在样本知道情况下，一般知道或假设样本服从某种概率分布，但不知到具体参数（或者知道具体模型，但不知道模型的参数）。
参数估计就是通过多次试验，观察其结果，利用结果推出参数的大概值。...
分类：
其他好文 时间：
2014-07-23 22:39:07
阅读次数：
894
基于能量的模型(EBM)基于能量的模型将每一个我们感兴趣的变量构造联系到一个标量能量上. 学习就是修改能量方程从而使得它的外形有我们需要的特点. 举例来说, 我们希望的是: 期望构造的能量低. 基于能量的概率性模型定义了一个概率分布, 它是由能量方程决定的:归一化因子Z被称为配分函数, 类比于物理系...
分类：
其他好文 时间：
2014-07-23 15:47:59
阅读次数：
382
一个语言模型通常构建为字符串s的概率分布p(s)，这里p(s)试图反映的是字符串s作为一个句子出现的频率。例如，在一个人所说的话中每100个句子里面大约有一句是Okay，则可以认为p(Okay)约等于0.01。而对于句子“An apple ate the chicken”我们可以认为其概率是0，.....
分类：
其他好文 时间：
2014-07-18 18:32:38
阅读次数：
222
一. 随机变量1.1 概率分布概率分布 定义 : 随机变量X取各个值$x_i$的概率称为X的概率分布. 对于离散型随机变量: $ P(X=x_i)=p_i, (i=1,2,3,...) $ 特性 : a. $p_i>0$ b. $\sum_i^{\infty} p_i =1 $累积概率分布(CDF)...
分类：
其他好文 时间：
2014-07-16 19:28:51
阅读次数：
340
