最近在看深度学习的"花书" （也就是Ian Goodfellow那本了），第五章机器学习基础部分的解释很精华，对比PRML少了很多复杂的推理，比较适合闲暇的时候翻开看看。今天准备写一写很多童鞋们w未必完全理解的最大似然估计的部分。 单纯从原理上来说，最大似然估计并不是一个非常难以理解的东西。最大似然 ...
分类：
其他好文 时间：
2017-11-27 14:17:27
阅读次数：
243
链表可以说是一种最为基础的数据结构。链表由一组元素以一种特定的顺序组合或链接而成，在维护数据的集合时很有用。这一点同我们常用的数组很相似。然而，链表在很多情况下比数组更有优势。特别是在执行插入和删除操作时链表拥有更高的效率。链表需要动态的开辟存储空间，也就是存储空间是在程序运行时分配的。由于在很多应... ...
分类：
其他好文 时间：
2017-11-17 22:30:44
阅读次数：
194
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 ... ...
分类：
其他好文 时间：
2017-11-12 18:43:11
阅读次数：
324
全文转载自： softmax的log似然代价函数（公式求导） 在人工神经网络（ANN）中，Softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，softmax配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。 1. softm ...
分类：
其他好文 时间：
2017-11-10 18:39:44
阅读次数：
146
原文地址：http://blog.csdn.net/sunlylorn/article/details/19610589 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性” ...
分类：
其他好文 时间：
2017-11-07 22:18:42
阅读次数：
187
最大似然估计法的基本思想 最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个 作为真 的估计。 我们分两种情进行分析： 1．离散型总体 设 为离散型随机变量，其概率分布的形式为 ，则样本 的概率分布为 ，在 固定时，上式表示 取值 的概率；当 固定时 ...
分类：
其他好文 时间：
2017-11-05 15:08:36
阅读次数：
174
参考： 最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法。 MLE可以看作一种特殊情况下 ...
分类：
其他好文 时间：
2017-10-30 14:25:30
阅读次数：
142
知乎上这篇文章介绍的比较形象：https://www.zhihu.com/question/24124998 先比较下概率和似然，把硬币的"花"出现的概率称为硬币的参数 1. 概率VS似然 1.1 概率 已知硬币的参数，就可以去推测抛硬币的各种情况的可行性，成称之为概率 比如已知硬币是公平的，也就是 ...
分类：
其他好文 时间：
2017-10-29 18:43:25
阅读次数：
141
一. 信息论背景 信息论的研究内容，是对一个信号包含信息的多少进行量化。所采用的量化指标最好满足两个条件： （1）越不可能发生的事件包含的信息量越大； （2）独立事件有增量的信息（就是几个独立事件同时发生的信息量等于每一个信息量的和）。 遵循以上原则，定义一个事件$\mathsf{x}=x$的自信息 ...
分类：
其他好文 时间：
2017-10-29 16:43:53
阅读次数：
268
讨论课提纲： 自我介绍 简单说一下回归的主要问题，给定数据集，找出输入和输出之间的关系，对于一个新的输入可以预测其输出 我们将从两个角度来讨论这个问题，一个是传统的频率学派，利用极大似然估计进行分析，首先利用极大似然估计估计参数，并找出其与最小二乘法之间的联系，然后从几何角度理解最小二乘法。因为样本 ...
分类：
其他好文 时间：
2017-10-29 11:21:34
阅读次数：
197
