决策树就是不断选择信息增益最大的属性，进行分类。
核心部分是使用信息增益判断属性的分类性能。信息增益计算如下：
信息熵：
允许有多个类别。
计算所有属性的信息增益，选择最大的作为决策树的根节点。然后，样本分枝，继续判断剩余的属性的信息增益。
信息增益有缺点：信息增益偏袒具有较多值的属性。分裂信息，用增益比率作为衡量标准，如下：
决策树...
分类：
编程语言 时间：
2015-03-02 13:12:55
阅读次数：
346
小巫也有一段时间没有发表博文了，趁自己还没有太多工作内容，整理分享一下近期自己对人工智能方向的调研结果，内容比较简单，不涉及特别高深的技术，就简单介绍一下人工智能的几个大方向。小巫看了很多网络媒体对人工智能的报道，包括36氪、钛媒体、雷锋网等，也大致了解到了人工智能目前的发展状况，未来的一些发展前景有哪些，下面就按照下面大纲简单说明一下：
人工智能现状
人工智能开源项目
智能手表中的智能
智能穿戴设...
分类：
其他好文 时间：
2015-03-02 13:08:12
阅读次数：
279
朴素贝叶斯算法是寻找一个极大后验假设（MAP），即候选假设的最大后验概率。
如下：
在朴素贝叶斯分类器中，假设样本特征之间是独立的，则有：
计算每个假设的后验概率，选出最大的概率，对应的类别就是样本的分类结果。
优缺点：
对小规模的数据表现很好，适合多分类任务，适合增量式训练。当时，需要样本的特征之间独立性较高，不能有太多的相关性。对输入数据的表达形式很敏...
分类：
编程语言 时间：
2015-03-02 11:19:44
阅读次数：
297
近年来，随着科技产业的发展，人工智能也呈现了突飞猛进的增长势头，从广义上讲，人工智能包罗万象，诸如智能家居、智能汽车、智能机器人等，均属于人工智能范畴。有分析认为，在人工智能日益普及的背景下，未来包括销售员、清洁人员、驾驶员、运动员，甚至是记者都会面临失业，由此可见其威力之强大，不过，笔者认为，人工智能过于发达可能后患无穷，这怎么说呢？接下来我们不妨从几个层面来分析一下。
...
分类：
其他好文 时间：
2015-03-02 09:32:02
阅读次数：
147
训练数据格式如下：输入有4个维度，输出为{-1，+1}。共有400条数据。 题目要求将权向量元素初始化为0，然后使用“Naive Cycle”遍历训练集，求停止迭代时共对权向量更新了几次。 所谓“Naive Cycle”指的是在某数据条目x(i)上发现错误并更新权向量后，下次从x(i+1)继续读数据，而不是回到第一条数据x(0)从头开始。该题要求使用“fixed,pre-determined random cycle”对数据进行遍历，即对400条数据进行随机排序，然后在这轮计算中始终使用这一排序，直到下一轮...
分类：
其他好文 时间：
2015-03-01 23:54:00
阅读次数：
448
引言
上一小节中，我们介绍了过拟合的概念，在机器学习中最大的危险就是过拟合，为了解决过拟合问题，通常有两种办法，第一是减少样本的特征（即维度），第二就是我们这里要说的“正则化”（又称为“惩罚”,penalty）。
从多项式变换和线性回归说起
在非线性变换小节中，我们有讨论Q次多项式变换的定义和其包含关系，这里如果是10次多项式变换，那么系数的个数是11个，而2次多项式的系数个数是...
分类：
其他好文 时间：
2015-03-01 22:24:47
阅读次数：
326
SAS graphical user interfaces help you build machine-learning models and implement an iterative machine learning process. You don't have to be an adva...
分类：
编程语言 时间：
2015-03-01 13:01:37
阅读次数：
292
源自数学和生物学的机器学习理论，借助计算机的强大运算能力，不断改造我们的工程实践。作为一名专注于图像处理和机器视觉的程序员，在初步理解机器学习相关概念的基础上，我更关注1）现在已经存在了哪些工具；2）如何利用这些工具来解决现实问题。 这里主要研究实现MLP和CNNs。设计到的工具为O...
分类：
其他好文 时间：
2015-03-01 11:48:16
阅读次数：
170
转载请注明出处：http://www.cnblogs.com/ymingjingr/p/4271742.html目录机器学习基石笔记1——在何时可以使用机器学习(1)机器学习基石笔记2——在何时可以使用机器学习(2)机器学习基石笔记3——在何时可以使用机器学习(3)(修改版)机器学习基石笔记4——在...
分类：
其他好文 时间：
2015-03-01 10:27:48
阅读次数：
163
只实现了最基本的功能，玩家下棋和电脑随机下棋。缺乏输入检查，重复下棋检查，判断输赢，人工智能算法等等。待完善。 1 import java.io.BufferedReader; 2 import java.io.InputStreamReader; 3 4 // GoBang(五子棋) 5 cla....
分类：
其他好文 时间：
2015-03-01 00:19:03
阅读次数：
308
