本文针对统计学之离散概率分布的运用的学习总结。知道如何通过概率得知发生某事件的可能性的大小。可惜概率不是万能的，他无法指出所发生的这些事情的影响，也无法指出这种整体影响对具体的影响。这里我们利用概率分布预期长期结果，以及如何度量这些预期结果的确定性。仍然采用核心定义和案例分析，结合具体代码实现的方式...
分类：
其他好文 时间：
2015-08-12 18:37:00
阅读次数：
214
转自：KL距离，Kullback-Leibler DivergenceKL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在...
分类：
其他好文 时间：
2015-08-11 18:16:40
阅读次数：
127
本文针对统计学学习之离散章节，本科针对离散数学以及概率论学习期间，总是一味觉得软件开发与数学有何联系，根本学其无用。然而走进数据分析，大数据处理才发现其重要性。如何计算和利用概率分布，采用概率树不免增加了计算的复杂度，有没有更好的计算方法？本篇我们介绍一些特殊的概率分布，这些概率分布具有固定的形式，...
分类：
其他好文 时间：
2015-08-04 14:57:53
阅读次数：
348
联合分布(joint distribution)无论是连续变量分布和离散变量分布都是单一随机变量，当由单一变量推广为多个变量时，就成为了联合分布。联合分布(joint distribution)描述了多个随机变量的概率分布，是对单一随机变量的自然拓展。联合分布的多个随机变量都定义在同一个样本空间中。...
分类：
其他好文 时间：
2015-08-01 23:13:41
阅读次数：
101
连续型变量在一定区间内可以取任何值，因此其概率分布不能以分布列来表示，只能通过概率分布密度曲线表示。1.正态分布正态分布是最常见也是最重要的一种连续分布，概率密度函数如下：累积概率分布函数如下：正态分布有两个参数，μ和σ。我们可以将正态分布表示成N(μ,σ)。当μ=0，σ=1，这样的正态分布被称作标...
分类：
其他好文 时间：
2015-07-28 20:34:11
阅读次数：
2854
变量分布是概率分布，用以表述随机变量取值的概率规律。变量的分布情况是我们在描述性分析的时候要关注的一个指标，实际上在推断性分析的时候，我们同样要根据样本的分布情况来估计总体分布，掌握了总体的数据分布之后才能选择相应的方法做进一步分析，下面我们分三部分介绍一下变量的分布：1.连续型变量分布2.离散型变...
分类：
其他好文 时间：
2015-07-28 12:44:27
阅读次数：
110
在讲完最小二乘（linear regression）和K近邻后，进入本节。引入符号：$X\in R^p$ X为维度为p的输入向量$Y\in R$ Y为输出，实数$P(X,Y)$ 为两者的联合概率分布$f(X)$ 为预测函数，给定X，输出Ya.使用squared error loss(L2)作为损失函...
分类：
其他好文 时间：
2015-07-28 12:17:08
阅读次数：
108
一、对于回归问题，基本目标是建模条件概率分布p(t|x) 利用最大似然的方式:negative logarithm of the likelihood 这个函数可以作为优化目标，其中的第二项与参数无关，在优化的时候不用计算在内。实际中所用到的各种不同的目标函数不过是对于的形式做了具体的假设。 1.s...
分类：
其他好文 时间：
2015-07-10 22:16:48
阅读次数：
270
L1、L2范式及稀疏性约束假设需要求解的目标函数为： E(x) = f(x) + r(x) 其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有:L1范式约束(模型服从高斯分...
分类：
其他好文 时间：
2015-07-05 16:23:12
阅读次数：
106
贝叶斯定理（英语：Bayes’ theorem）是概率论中的一个定理，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理（贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。这个名称来自于托马斯?贝叶斯。
通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。贝叶斯公式的用途...
分类：
其他好文 时间：
2015-07-02 22:40:24
阅读次数：
168
