前言 数据挖掘概念 又称为数据库中的知识发现。 决策树概念 决策树方法是利用信息论中的信息增益寻找数据库中具有最大信息量的属性字段，建立决策树的一个节点，再根据该属性字段的不同取值建立树的分支。每个分支子集中重复建立树的下层结点和分支的过程。 优点： 将数据规则可视化，输出结果容易理解，精度较高。 ...
分类：
其他好文 时间：
2017-10-14 19:48:16
阅读次数：
119
模式识别作业，虽然没选这课，不过有同学拜托，正好我也想试试这课作业的难度（感觉模式识别是为数不多的不太水而且比较有用的课，没错我就是针对信息论和组合数学233） ...
分类：
其他好文 时间：
2017-09-30 11:40:22
阅读次数：
170
一. 熵的定义： 原始熵的定义：克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念, 我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。统计热力学: 熵的大小 ...
分类：
其他好文 时间：
2017-09-24 10:47:30
阅读次数：
331
一.引入 决策树基本上是每一本机器学习入门书籍必讲的东西，其决策过程和平时我们的思维很相似，所以非常好理解，同时有一堆信息论的东西在里面，也算是一个入门应用，决策树也有回归和分类，但一般来说我们主要讲的是分类 其实，个人感觉，决策树是从一些数据量中提取特征，按照特征的显著由强到弱来排列。常见应用为： ...
分类：
其他好文 时间：
2017-09-12 13:56:20
阅读次数：
173
1.信息与数据的区别是什么？ 信息：在信息论中指用符号传送的报道，报道的内容是接收符号者预先不知道的音信、消息。经过加工处理并可以对人类客观行为产生影响的数据表现形式。 数据：进行各种统计、计算、科学研究或技术设计等所依据的数值（是反映客观事物属性的数值），是信息的具体表现形式。 2.信息与知识的区 ...
分类：
其他好文 时间：
2017-09-05 12:38:57
阅读次数：
246
information gain 在信息增益中，衡量标准是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。对一个特征而言，系统有它和没它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量，就是熵。 在概率论和信息论中，两个随机变量的互信息（Mutual ...
分类：
其他好文 时间：
2017-09-03 14:13:13
阅读次数：
159
MySQL基础 一、数据库概念 1，网友装备信息、论坛帖子信息、QQ好友关系信息、学籍管理系统中的学生信息等都要“持久化”的保存到一个地方， 如果通过IO写到文件中，那么会非常麻烦，而且不利于多人共享数据 2，我们开发大部分软件、网站都要大量用到书库，甚至开发游戏、手机App也要用到数据库，公司面试 ...
分类：
数据库 时间：
2017-08-19 20:07:37
阅读次数：
179
1.信息熵 2.相对熵 3.互信息 4.交叉熵及深度学习的应用 ...
分类：
其他好文 时间：
2017-07-01 20:10:18
阅读次数：
139
1、速率（数据率，码元率） 比特（bit）是计算机中数据量的单位，也是信息论中使用的信息量的单位。bit（binary digit），是一个“二进制数字”，因此一个比特就是二进制数字中的一个1或0。 速率即数据率或比特率，单位b/s，或kb/s，Mb/s，Gb/s等 2、带宽 本来是指信号具有的频带 ...
分类：
其他好文 时间：
2017-06-18 13:12:41
阅读次数：
220
