参考：莫烦。 主要是运用的ＭＬＰ。另外这里用到的是批训练： 这个代码很简单，跟上次的基本没有什么区别。 这里的lossfunction用到的是是交叉熵cross_entropy.可能网上很多形式跟这里的并不一样。 这里一段时间会另开一个栏。专门去写一些机器学习上的一些理论知识。 这里代码主要写一下如 ...
分类：
其他好文 时间：
2017-06-19 00:27:28
阅读次数：
263
解决一个机器学习问题的一般套路是先构建一个目标函数，然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等，常见的正则化方法有L1正则、L2正则等，常见的优化方法有梯度下降、随机梯度下降等。SVM也可以 ...
分类：
编程语言 时间：
2017-05-25 23:31:27
阅读次数：
263
引言 无损压缩算法可行的基本原理是，任意一个非随机文件都含有重复数据，这些重复数据可以通过用来确定字符或短语出现概率的统计建模技术来压缩。统计模型可以用来为特定的字符或者短语生成代码，基于它们出现的频率，配置最短的代码给最常用的数据。这些技术包括熵编码(entropy encoding)，游程编码( ...
分类：
编程语言 时间：
2017-05-25 15:42:09
阅读次数：
181
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”。这样能够减少风险。深究一下，这是为什么呢？事实上，这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍。重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-05-19 20:14:01
阅读次数：
217
1、调用tf.softmax_cross_entropy_with_logits函数出错。原因是这个函数，不能按以前的方式进行调用了，只能使用命名参数的方式来调用。原来是这样的：tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_) ...
分类：
其他好文 时间：
2017-05-17 14:18:32
阅读次数：
4985
本篇以信息增益最大作为最优化策略来详细介绍决策树的决策流程。 首先给定数据集，见下图 注：本数据来源于网络 本篇将以这些数据作为训练数据（虽然少，但足以介绍清楚原理！），下图是决策树选择特征的流程 (请原谅我的拍照技术) 图中entropy代表决策树在根节点处的信息熵，Entropy(age)表示用 ...
分类：
其他好文 时间：
2017-05-14 22:19:17
阅读次数：
235
声明：本文主要是基于网上的材料做了文字编辑，原创部分甚少。參考资料见最后。 隐马尔可夫模型（Hidden Markov Model。HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CR ...
分类：
其他好文 时间：
2017-05-13 20:58:37
阅读次数：
226
http://www.ruanyifeng.com/blog/2013/04/entropy.html 1. 上周，我读完了《熵：一种新的世界观》。 总体上，我不推荐这本书。因为作者是两个经济学家，他们写了一本物理学的书！ 正如经济学家所擅长的，书中充满了夸大偏颇的描写，以及片面的和逻辑不严密的论证 ...
分类：
其他好文 时间：
2017-05-04 16:25:18
阅读次数：
259
维基上corss entropy的一部分 知乎上也有一个类似问题：https://www.zhihu.com/question/36307214 cross entropy有二分类和多分类的形式，分别对应sigmoid和softmax ...
分类：
其他好文 时间：
2017-05-01 13:36:04
阅读次数：
168
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”，这样能够减少风险。深究一下，这是为什么呢？事实上。这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-04-22 12:40:08
阅读次数：
204
