1.什么是HMM？ 隐马尔科夫链（HMM）是一个五元组： 隐状态集合 ; 观测状态集合； 状态概率转移矩阵； 观察状态概率矩阵； 初始状态概率分布； 2.HMM有两个假设： 齐次马尔可夫链假设：任意时刻的隐藏状态只依赖与前一时刻的隐藏状态。 观测独立性假设：任意时刻的观察状态，只依赖与当前时刻的隐藏 ...
分类：
其他好文 时间：
2018-03-27 16:46:56
阅读次数：
193
1、信息量： 公式：I(x) = -logp(x)，单从公式上也可以看出，概率越低熵越大（低概率事件带来的高信息量）。通俗一点来说的话，就是概率论中很简单的推广就行了。 2、熵的定义： （1）上面的 I(x) 是指在某个概率分布之下，某个概率值对应的信息量的公式。那么我们要知道这整个概率分布对应的信 ...
分类：
其他好文 时间：
2018-03-20 21:43:19
阅读次数：
234
数学期望数学期望E（x）完全由随机变量X的概率分布所确定，若X服从某一分布，也称E（x）是这一分布的数学期望。数学期望的定义是实验中每次可能的结果的概率乘以其结果的总和。离散型随机量的数学期望定义：离散型随机变量的所有可能取值xixi与其对应的概率P(xi)乘积的和为该离散型随机量的数学期望，记为E(X)。公式：E(X)=∑i=1nxiPi连续型随机量的数学期望定义：假设连续型随机变量XX的概率密
分类：
其他好文 时间：
2018-03-19 10:20:58
阅读次数：
216
顾名思义，决策树model是树形结构，在分类中，表示基于特征对实例进行分类的过程。可以人为是“if-else”的合集，也可以人为是特征空间，类空间上条件概率分布。主要优点是分类速度快，可读性好。在学习时（training）根据loss function最小化原则建立决策树model，预测时对新数据利 ...
分类：
其他好文 时间：
2018-03-05 23:36:03
阅读次数：
333
在MCMC(一)蒙特卡罗方法中，我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法，但是这个方法需要得到对应的概率分布的样本集，而想得到这样的样本集很困难。因此我们需要本篇讲到的马尔科夫链来帮忙。 1. 马尔科夫链概述 马尔科夫链定义本身比较简单，它假设某一时刻状态转移的 ...
分类：
其他好文 时间：
2018-03-04 16:02:56
阅读次数：
283
1. 混合模型简介 如果我们定义观测变量和潜在变量的一个联合概率分布，那么对应的观测变量本身的概率分布可以通过求边缘概率的方法得到。这使得观测变量上的复杂的边缘概率分布可以通过观测与潜在变量组成的扩展空间上的更加便于计算的联合概率分布来表示。因此，潜在变量的引入使得复杂的概率分布可以由简单的分量组成 ...
分类：
其他好文 时间：
2018-03-03 12:18:27
阅读次数：
170
1 朴素贝叶斯法的学习与分类1.1 基本原理2 参数估计2.1 极大似然估计2.2 算法2.3 贝叶斯估计 1 朴素贝叶斯法的学习与分类 Naive Bayes是基于贝叶斯定理和特征条件独立的假设的分类方法。对于给定的训练数据，首先基于特征条件独立学习输入和输出的联合概率分布，然后基于此模型，对给定 ...
分类：
其他好文 时间：
2018-03-02 22:12:08
阅读次数：
186
大部分是问项目相关的。只记住了几个关键的问题。 1、手写快排 2、生成模型与判别模型的区别 分类问题：2种形式： F(x)=y p(y|x) 生成模型：由数据学习联合分布概率p(x,y),然后求出条件概率分布p(y|x) p(y|x) = p(x,y)/p(x) 例如，朴素贝叶斯。 判别模型： 直接 ...
分类：
其他好文 时间：
2018-02-27 23:27:13
阅读次数：
443
Hulu机器学习系列按时来报到～ 快搬好小板凳，一起来学习吧 今天的主题是 【采样】 引言 古人有云：“知秋一叶，尝鼎一脔”，其中蕴含的就是采样思想。采样，就是根据特定的概率分布产生对应的样本点。对于一些简单的分布（如均匀分布、高斯分布），很多编程语言里面都有直接的采样函数。然而，即使是这种简单的 ...
分类：
其他好文 时间：
2018-02-27 21:22:20
阅读次数：
511
欢迎回到“采样”系列~ 今天的内容是 【如何对高斯分布进行采样】 场景描述 高斯分布，又称正态分布，是一个在数学、物理及工程领域都非常重要的概率分布。在实际应用中，我们经常需要对高斯分布进行采样。虽然在很多编程语言中，直接调用一个函数就可以生成高斯分布随机数，但了解其中的具体算法能够加深我们对相关概 ...
分类：
其他好文 时间：
2018-02-27 21:16:04
阅读次数：
404
