从机器学习的角度来看，大数据不过是训练各类参数、概率分布模型的输入。合适的、经过筛选的、符合事物客观特征描述的大数据方才是好的数据，故在目前这个所谓“泛大数据时代”，数据确实是最为精贵的资源，但并不是所有数据都是，我们只能去芜存菁方可认清数据的本质以及事物..
分类：
其他好文 时间：
2017-09-22 12:00:56
阅读次数：
100
朴素贝叶斯或者说基于贝叶斯理论的决策方法都是生成式模型。那么什么是生成式模型呢？生成式模型和判别式模型的概念分别是什么？大体来说，给定数据集x，可以直接通过建模P(c|x)来预测c，这样得到的是判别式模型。像BP网络，支持向量机，决策树都属于判别式模型。如果先对联合概率分布P(x,c)建模，然后再由 ...
分类：
其他好文 时间：
2017-09-19 22:58:45
阅读次数：
283
最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也 ...
分类：
其他好文 时间：
2017-09-15 16:49:48
阅读次数：
133
一、深度学习与深层神经网络 1、线性模型局限性 线性模型无论多少层，表达能力是一致的。可以通过激活函数实现非线性。 2、多层网络可以解决异或运算 二、损失函数定义 1、经典损失函数： 分类问题： 二分类：取0.5作为阈值 多分类：设置n个输出节点，每个对应该类的可能性。神经网络输出向量 —>概率分布 ...
分类：
其他好文 时间：
2017-08-31 23:10:36
阅读次数：
182
引入 监督学习的任务就是学习一个模型（或者得到一个目标函数）,应用这一模型，对给定的输入预测相应的输出。这一模型的一般形式为一个决策函数Y=f(X)，或者条件概率分布P(Y|X)。监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative app ...
分类：
其他好文 时间：
2017-08-30 00:49:22
阅读次数：
95
原文地址：https://github.com/AsuraDong/Blog/blob/master/Articles/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/%E5%9F%BA%E6%9C%AC%E6%A6%82%E7%8E%87%E5%88%86%E5%B8%8 ...
分类：
其他好文 时间：
2017-08-22 19:08:21
阅读次数：
222
1. 相对熵的认识 相对熵又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度（即KL散度）等。设和 是取值的两个概率概率分布，则对的相对熵为 在一定程度上，熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是 用来度量使用基于Q的 ...
分类：
其他好文 时间：
2017-08-20 19:51:17
阅读次数：
211
广义线性模型通过三条限定（指数族分布、输出期望、线性关系），为模型输出结果、特征和模型参数之间的关系问题提供了一个合理的解决方案。我们只需要将我们选择的概率分布写成指数族分布的形式，就能推导出模型输出结果与其它变量之间的关系。 ...
分类：
其他好文 时间：
2017-08-16 17:31:29
阅读次数：
113
1. 简述 贝叶斯是典型的生成学习方法 对于给定的训练数据集，首先，基于特征条件独立假设，学习输入/输出的联合概率分布；然后，基于此模型，对于给定的输入x，根据贝叶斯定理求后验概率最大的输出y 术语说明： 特征条件独立假设：用于分类的特征在类确定的条件下都是条件独立的。这一假设大大减少模型包含的条件 ...
分类：
其他好文 时间：
2017-08-16 17:23:28
阅读次数：
144
高斯分布有很多优点并且普遍存在，但是，它是单峰函数，所以对于复杂的分布表达能力比较差，我们可以用多个高斯分布的线性组合来逼近这些复杂的分布。高斯混合概率分布可以写成高斯分布的线性叠加的形式，如下所示： 写的不错：混合高斯模型 ...
分类：
其他好文 时间：
2017-08-15 19:50:14
阅读次数：
190
