1、k-近邻算法算法原理：存在一个样本数据集（训练样本集），并且我们知道样本集中的每个数据与其所属分类的对应关系。输入未知类别的数据后将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的k组数据。然后将k组数据中出现次数最多的分类，来作为新数据的分类。算法步...
分类：
其他好文 时间：
2014-10-12 20:39:28
阅读次数：
199
1. 偏差和方差平衡在线性回归中，对于同一个数据集，可以拟合出简单的线性模型或者较为复杂一些的多项式例如：图中的训练样本是一致的，但是可以拟合出不同的模型。最右边图中拟合出的5阶多项式，并不见得就是一个好模型，虽然该模型能够准确预测出样本点的y值,因为这种模型过分拟合了训练样本（过拟合），当对非训练...
分类：
其他好文 时间：
2014-10-12 01:39:27
阅读次数：
272
混合高斯模型和EM算法 这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与K-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，...
分类：
编程语言 时间：
2014-10-11 17:15:25
阅读次数：
231
例子：分类：play or not ？（是/否） 目的：根据训练样本集S构建出一个决策树，然后未知分类样本通过决策树就得出分类。问题：怎么构建决策树，从哪个节点开始（选择划分属性的问题）方法：ID3(信息增益)，C4.5(信息增益率)，它们都是用来衡量给定属性区分训练样例的能力。1. 为了理解信息....
分类：
编程语言 时间：
2014-10-11 16:33:06
阅读次数：
256
例子：某人想要由以下1000行训练样本数据构建一个分类器，将数据分成3类（喜欢，一般，不喜欢）。样本数据的特征有主要有3个，A:每年获得的飞行常客里程数B:玩视频游戏所耗时间百分比C：每周消费冰淇淋公升数1. 数据的读取 1 filename='D://machine_learn//Ch02//da...
分类：
编程语言 时间：
2014-10-11 15:32:15
阅读次数：
398
考虑一个监督学习问题，现在有一些带标签的训练样本(x(i),y(i)).神经网络就是定义一个复杂且非线性的假设hW,b(x)，其中W,b是需要拟合的参数.下面是一个最简单的神经网络结构，只含有一个神经元，后面就用下图的形式代表一个神经元：把神经元看作是一个计算单元，左边的x1,x2,x3(和 截距+...
分类：
其他好文 时间：
2014-10-11 13:43:55
阅读次数：
559
考虑下图所示数据集：这是一个关于居住面积，卧室数量和房屋价格的数据集。对于这个数据集，x就是二维的向量，因为每一个训练样本包含两个属性（居住面积，卧室数量）。为了进行监督学习，必须提出一个合理的假设或函数，假如我们用线性函数去近似y（对于上述数据集y就是房屋的价格），xi(i = 1,2,...m)...
分类：
其他好文 时间：
2014-10-06 23:15:50
阅读次数：
287
对于数据ex2Data.zip，学习出一个函数h(x)，使之能较好地预测出y的值。其中x表示孩子的年龄，y表示孩子的身高。首先画出原始数据在坐标轴中的分布情况：x = load('ex2x.dat'); y = load('ex2y.dat');m = length(y); %计算出训练样本的个数%...
分类：
其他好文 时间：
2014-10-06 13:55:20
阅读次数：
334
上回说到对于文本分类这样的不适定问题（有一个以上解的问题称为不适定问题），需要有一个指标来衡量解决方案（即我们通过训练建立的分类模型）的好坏，而分类间隔是一个比较好的指标。在进行文本分类的时候，我们可以让计算机这样来看待我们提供给它的训练样本，每一个样本由..
分类：
其他好文 时间：
2014-10-01 01:07:21
阅读次数：
535
分类回归树算法：CART(Classification And Regression Tree)算法采用一种二分递归分割的技术，将当前的样本集分为两个子样本集，使得生成的的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。
分类树两个基本思想：第一个是将训练样本进行递归地划分自变量空间进行建树的想法，第二个想法是用验证数据进行剪枝。
CART与C4.5的...
分类：
其他好文 时间：
2014-09-24 12:33:26
阅读次数：
230
