第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(exp...
分类：
编程语言 时间：
2015-08-28 19:41:47
阅读次数：
750
第8章提升方法提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。基本思想：对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易...
分类：
其他好文 时间：
2015-08-28 19:41:26
阅读次数：
1528
第5章 决策树决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类...
分类：
其他好文 时间：
2015-08-28 19:35:02
阅读次数：
1020
第6章 逻辑回归与最大熵模型逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropymodel)。逻辑回归模型与最大熵模型都属于对数线性模型。6.1 逻辑回归模型定义6.1(逻辑分布)...
分类：
其他好文 时间：
2015-08-28 19:15:16
阅读次数：
569
第7章 支持向量机支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex q...
分类：
其他好文 时间：
2015-08-28 19:08:58
阅读次数：
470
统计学习由监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）和强化学习（reinforcement learning）组成。统计学习方法包括模型的假设空间、模型的选择准则以及模型学习的算法，称其为统计学习方法的三要素：模型（model）、策略（strategy）和算法（algor...
分类：
其他好文 时间：
2015-08-28 13:13:39
阅读次数：
151
第6章 逻辑回归与最大熵模型逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。6.1 逻辑回归模型定义6.1(逻辑分布...
分类：
其他好文 时间：
2015-08-26 23:55:55
阅读次数：
760
最近跟完了Andrew Ng的Machine Learning前三周的课，主要讲解了机器学习中的线性回归（Linear Regression）和逻辑回归（Logistic Regression）模型。在这里做一下记录。
另外推荐一本统计学习的书，《统计学习方法》李航，书短小精悍，才200多页，但是内容基本上覆盖了机器学习中的理论基础。笔记 主要了解一下监督学习和无监督学习机器学习：是关于计算...
分类：
其他好文 时间：
2015-08-25 16:42:29
阅读次数：
240
一 统计学习 统计学习是关于计算机基于数据构建概论统计模型并运用模型对数据进行预测和分析的一门学科。其中“学习”的定义是：如果一个系统能够通过某个过程改进它的性能，这就是学习。1.1 统计学习对象统计学习的对象是数据，提取数据特征，抽象出数据模型，再应用到对数据的预测和分析中。1.2 统计学习目的统...
分类：
其他好文 时间：
2015-08-15 13:21:11
阅读次数：
121
参考李航《统计学习方法》 一开始的感知机章节，看着不太复杂就实现一下。。。 1 """ 2 感知机学习算法的原始形式 3 例2.1 4 """ 5 import numpy as np 6 7 class Perceptron: 8 def __init__(self,w,b,alpha)...
分类：
编程语言 时间：
2015-07-31 23:23:40
阅读次数：
274
