最近算是一段空闲期，不想荒废，记得之前有收藏一个机器学习的链接Andrew Ng的网易公开课，其中的overfiting部分做组会报告时涉及到了，这几天有时间决定把这部课程学完，好歹算是有个粗浅的认识。本来想去网上查一查机器学习的书籍，发现李航的《统计学习方法》和PRML（Pattern Recog...
分类：
其他好文 时间：
2015-01-09 17:13:24
阅读次数：
152
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1....
分类：
编程语言 时间：
2014-12-25 21:57:06
阅读次数：
252
1. 关于ID3和C4.5的原理介绍这里不赘述，网上到处都是，可以下载讲义c9641_c001.pdf或者参考李航的《统计学习方法》.2. 数据与数据处理本文采用下面的训练数据：数据处理：本文只采用了"Outlook", "Humidity", "Windy"三个属性，然后根据Humidity的值是...
分类：
编程语言 时间：
2014-11-26 14:01:11
阅读次数：
288
本文基本按照《统计学习方法》中第一章的顺序来写，目录如下：1. 监督学习与非监督学习2. 统计学习三要素3.过拟合与正则化（L1、L2）4.交叉验证5. 泛化能力6. 生成模型与判别模型7. 机器学习主要问题8. 提问正文：1. 监督学习与非监督学习 从标注数据中学习知识的规律以及训练模型的方法叫....
分类：
其他好文 时间：
2014-11-16 21:18:33
阅读次数：
281
1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。 统计学习的对象是数据，它从数据出发，提取数据的特征，...
分类：
其他好文 时间：
2014-11-15 20:13:40
阅读次数：
223
统计学习方法（一）——统计学习方法概论统计学习方法（二）——感知机统计学习方法（三）——K近邻法统计学习方法（四）——朴素贝叶斯法统计学习方法（五）——决策树
分类：
其他好文 时间：
2014-11-06 19:40:06
阅读次数：
163
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
首先介绍下隐马尔可夫模型，它是一个时序的概率模型，概念书上有原话，大致的意思是：由一个隐马尔科夫链随机生成的无法观测的状态随机序列，每个状态再产生一个可以观测的随机序列，结合书上的例子，这个状态可以是一个盒子，观测值就是盒子里面取出来的是红球还是白球。 下面是一些定义： Q：所有可...
分类：
其他好文 时间：
2014-10-16 20:53:23
阅读次数：
309
贝叶斯统计是基于贝叶斯定理的一种经典的统计学习方法。假定样本为X，参数为θ，则贝叶斯统计为：P(θ|X)=P(X|θ)*P(θ)/P(X)。其中，P(θ)为先验分布，P(X|θ)表示似然概率，P(θ|X)表示后验分布。在贝叶斯统计中，最重要的一个问题是关于先验分布的选择，它会在很大程度上影响最终结果...
分类：
其他好文 时间：
2014-09-23 21:44:35
阅读次数：
177
《统计学习方法》笔记书籍ISBN：978-7-302-27595-4 第3章 k近邻法P37 3.1节 k近邻算法k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。算法描述如下：输入：训练数据集...
分类：
其他好文 时间：
2014-09-20 18:39:39
阅读次数：
1685
