id3 信息增益 c4.5 信息增益比 CART 基尼指数 参考 优缺点： 决策树算法原理 (上) 决策树算法原理 (下) 简略介绍： [Machine Learning & Algorithm] 决策树与迭代决策树（GBDT） 1.熵的概念 首先，我们需要熟悉信息论中熵的概念。熵度量了事物的不确定 ...
分类：
其他好文 时间：
2018-03-07 18:56:45
阅读次数：
162
一、概述 我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。 二、线性代数 2-1、标量 一个标量就是一个单独的数，一般 ...
分类：
其他好文 时间：
2018-03-03 21:21:20
阅读次数：
366
tf.contrib模块 tf.contrib 模块是一个比较复杂的模块。 contrib细节： tf.contrib.bayesflow.entropy 香农信息论 tf.contrib.bayesflow.monte_carlo Monte Carlo integration 蒙特卡洛积分 tf ...
分类：
其他好文 时间：
2018-01-13 18:58:20
阅读次数：
1137
在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子 ...
分类：
其他好文 时间：
2018-01-13 16:55:36
阅读次数：
1323
决策树 什么是决策树 决策树是一种简单高效并且具有强解释性的模型，广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树。 上图是一个简单的决策树模型，用来判断某个动物样本是否属于哺乳动物,树中包含三种节点： 根节点：没有入边，但有零条或者多条出边 内部节点：有一条或者多条出边 叶节点：只有一条 ...
分类：
其他好文 时间：
2017-11-22 14:22:10
阅读次数：
126
1、香农墒定义 信息论大师香农给出了信息随机性的度量，称为信息墒。信息的随机性越大，信息墒就越大。假定事件s1,s2,s3……sn，它们出现的概率为p(s1),p(s2)……p(sn)，则每个事件的平均不确定性用香农墒（Shannon entropy）来定义，为 2、图像的局部墒优化 由香农墒的定义 ...
分类：
其他好文 时间：
2017-11-18 17:28:00
阅读次数：
155
信息技术的三个奠基人: 香农 (提出信息论, 著有论文-数字逻辑电路, 这是CPU的基础) 图灵 (提出可计算理论以及计算的数学模型，设计图灵机 ) 冯·诺依曼 (根据图灵机设计制造出了通用计算机，现在所有计算机都是冯·诺依曼体系结构) fliky ...
分类：
其他好文 时间：
2017-11-01 01:05:07
阅读次数：
179
一. 信息论背景 信息论的研究内容，是对一个信号包含信息的多少进行量化。所采用的量化指标最好满足两个条件： （1）越不可能发生的事件包含的信息量越大； （2）独立事件有增量的信息（就是几个独立事件同时发生的信息量等于每一个信息量的和）。 遵循以上原则，定义一个事件$\mathsf{x}=x$的自信息 ...
分类：
其他好文 时间：
2017-10-29 16:43:53
阅读次数：
268
布尔代数 是一种关于0 和 1 的代数系统，用基础的逻辑符号系统描叙物体和概念，是现代电子计算机的数学和逻辑基础 布尔量： 0 1 True, False 与： a, b ab a*b and 或： a+b or 非： not 这些可以应用在逻辑当中，应用在电子工程当做，高电压和低电压 现代信息论的 ...
分类：
其他好文 时间：
2017-10-16 19:26:09
阅读次数：
205
0 前言 上课的时候老师讲到了信息论中的一些概念，看到交叉熵，这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 Reference: 信息熵是什么，韩迪的回答：https://www.zhihu.com/question/22178202 如何通俗 ...
分类：
其他好文 时间：
2017-10-15 21:22:47
阅读次数：
383
