总结：由于逻辑回归假定y的条件分布(y|x)是伯努利分布，所以根据广义线性模型和指数分布簇的定义可以得到逻辑回归的假设函数是sigmoid函数。广义线性模型的三个假设——逻辑回归1、 假定服从指数分布簇的某个分布 逻辑回归中，，所以假定【即已知参数θ的情况下，给定x，y的条件概率服从参数的伯努利分....
分类：
其他好文 时间：
2015-07-22 20:17:40
阅读次数：
199
1.贝叶斯分类的基础——贝叶斯定理
已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率：
表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：
。
贝叶斯定理...
分类：
编程语言 时间：
2015-07-21 14:46:43
阅读次数：
121
最近重新看了一下概率论，感觉很多东西都遗忘了，还会陷入各种误区，赶紧的纠正回来。概率论这块，主要内容包括：事件、条件概率、随机变量、随机变量的分布函数、概率密度、联合分布、期望、方差、协方差。我自己的误区总结：1.事件和随机变量首先要明确样本空间是所有可能发生的事件的集合，它由全部基本事件组成。而事...
分类：
其他好文 时间：
2015-07-18 22:31:13
阅读次数：
231
一、对于回归问题，基本目标是建模条件概率分布p(t|x) 利用最大似然的方式:negative logarithm of the likelihood 这个函数可以作为优化目标，其中的第二项与参数无关，在优化的时候不用计算在内。实际中所用到的各种不同的目标函数不过是对于的形式做了具体的假设。 1.s...
分类：
其他好文 时间：
2015-07-10 22:16:48
阅读次数：
270
条件概率公式：P( A|B ) = P( AB ) / P( B )表示在事件B发生的前提，事件A发生的可能性；问题的：复位事件E：r个人买东西；事件Ei：文章i个人买东西；的要求是P( Ei | E );计算P( E ) 用全概率公式就可以。採用递归枚举出全部r个人买东西的情况，然后计算出其总的概...
分类：
其他好文 时间：
2015-07-09 17:36:40
阅读次数：
95
贝叶斯定理（英语：Bayes’ theorem）是概率论中的一个定理，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理（贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。这个名称来自于托马斯?贝叶斯。
通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。贝叶斯公式的用途...
分类：
其他好文 时间：
2015-07-02 22:40:24
阅读次数：
168
作者：Mingxuan Wang，李航，刘群
单位：华为、中科院
时间：2015
发表于：acl 2015
文章下载：http://pan.baidu.com/s/1bnBBVuJ主要内容：
用deep learning设计了一种语言模型，能够根据之前“所有”的历史来预测当前词的条件概率。用语言模型迷惑度衡量、用机器翻译衡量，该模型都比baseline（5-gram、RNN、等）好具体内容...
分类：
其他好文 时间：
2015-06-29 22:21:28
阅读次数：
244
Naive Bayes (朴素贝叶斯) 属于监督学习算法, 它通过计算测试样本在训练样本各个分类中的概率来确定测试样本所属分类, 取最大概率为其所属分类.优点在数据较少的情况下仍然有效,可以处理多类别问题缺点对输入数据的准备方式较为敏感适用数据类型标称型基础概念1. 条件概率P(A|B)表示事件B已...
分类：
其他好文 时间：
2015-06-27 19:44:26
阅读次数：
115
1、准备：(1)先验概率：根据以往经验和分析得到的概率，也就是通常的概率，在全概率公式中表现是“由因求果”的果(2)后验概率：指在得到“结果”的信息后重新修正的概率，通常为条件概率(但条件概率不全是后验概率)，在贝叶斯公式中表现为“执果求因”的因例如：加工一批零件，甲加工60%，乙加工40%，甲有0...
分类：
其他好文 时间：
2015-06-24 22:23:47
阅读次数：
156
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
