学习人工智能有段时间了，总结了一下人工智能的学习历程和课程表，希望对想学习的朋友有所帮助。期间也买了很多资料。可以分享给大家。 阶段一：数学基础 1.数据分析 常数e 导数 梯度 Taylor gini系数 信息熵与组合数 2.概率论 概率论基础 古典模型 常见概率分布 大数定理和中心极限定理 协方 ...
分类：
其他好文 时间：
2018-04-08 18:02:33
阅读次数：
212
课程名称 内容 阶段一、人工智能基础 — 高等数学必知必会 1.数据分析 "a. 常数eb. 导数c. 梯度d. Taylore. gini系数f. 信息熵与组合数g. 梯度下降h. 牛顿法" 2.概率论 "a. 微积分与逼近论b. 极限、微分、积分基本概念c. 利用逼近的思想理解微分，利用积分的方 ...
分类：
其他好文 时间：
2018-04-01 10:43:33
阅读次数：
306
1、信息量： 公式：I(x) = -logp(x)，单从公式上也可以看出，概率越低熵越大（低概率事件带来的高信息量）。通俗一点来说的话，就是概率论中很简单的推广就行了。 2、熵的定义： （1）上面的 I(x) 是指在某个概率分布之下，某个概率值对应的信息量的公式。那么我们要知道这整个概率分布对应的信 ...
分类：
其他好文 时间：
2018-03-20 21:43:19
阅读次数：
234
信息熵： 生活中的所见所闻，都接触到许许多多的信息，有的信息对我们有用，有的无用。如 “地球是自转的”，这条信息对我们没什么用，因为我们都知道，而且是确确实实是这样的。香农用信息熵的概念来描述信源的不确定度，变量的不确定性越大，熵也就越大。 在某个事件中，如果不发生的概率为0，那么可以确定信息熵为0 ...
分类：
其他好文 时间：
2018-02-06 20:30:54
阅读次数：
136
决策树之ID3算法 Content 1.ID3概念 2.信息熵 3.信息增益 Information Gain 4. ID3 bias 5. Python算法实现（待定） 一、ID3概念 ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核 ...
分类：
编程语言 时间：
2018-01-10 13:55:59
阅读次数：
266
对于一个随机变量x，当我们观察到它的一个具体取值时，我们得到了多少信息呢？ ...
分类：
其他好文 时间：
2017-12-17 22:12:33
阅读次数：
118
0 前言 上课的时候老师讲到了信息论中的一些概念，看到交叉熵，这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 Reference: 信息熵是什么，韩迪的回答：https://www.zhihu.com/question/22178202 如何通俗 ...
分类：
其他好文 时间：
2017-10-15 21:22:47
阅读次数：
383
基本流程: 决策树: 根结点:属性测试，包含样本全集 内部结点:属性测试，根据属性测试的结果被划分到子结点中 叶结点：决策结果 划分选择:如何选择最优划分属性。目标是结点的"纯度"越来越高 1.信息增益： 使用“信息熵”: 信息增益越大，意味使用属性a划分所获得的“纯度提升”越大。因此可以使用信息增 ...
分类：
其他好文 时间：
2017-09-26 19:46:51
阅读次数：
166
作者：忆臻链接：https://www.zhihu.com/question/22178202/answer/161732605来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 信息熵的公式 先抛出信息熵公式如下： <img src="https://pi ...
分类：
其他好文 时间：
2017-08-19 11:14:16
阅读次数：
222
22:45:17 2017-08-09 KNN算法简单有效，可以解决很多分类问题。但是无法给出数据的含义，就是一顿计算向量距离，然后分类。 决策树就可以解决这个问题，分类之后能够知道是问什么被划分到一个类。用图形画出来就效果更好了，这次没有学哪个画图的，下次。 这里只涉及信息熵的计算，最佳分类特征的 ...
分类：
其他好文 时间：
2017-08-10 01:14:34
阅读次数：
190
