1 简介 逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法。 最大嫡是概率模型学习的一个准则，将其推广到分类问题得到最大嫡模型(maximum entropy model )。 逻辑斯谛回归模型与最大嫡模型都属于对数线性模型。 2 模型 2.1 逻辑斯谛分布 2.2 ...
分类：
其他好文 时间：
2020-04-28 17:31:04
阅读次数：
56
1 简介 1.1 介绍 1.2 生成步骤 CART树算法由以下两步组成:(1)决策树生成:基于训练数据集生成决策树，生成的决策树要尽量大;(2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树，这时用损失函数址小作为剪枝的标准。 2 算法 2.1 回归树 对回归树用平方误差最小化准则，生成 ...
分类：
编程语言 时间：
2020-04-28 14:36:46
阅读次数：
113
1 简介 决策树模型是树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策 ...
分类：
其他好文 时间：
2020-04-28 13:04:22
阅读次数：
158
1 简介 k近邻法的输入为实例的特征向量，对应于特征空间的点;输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据集对一特征向 ...
分类：
编程语言 时间：
2020-04-27 11:22:04
阅读次数：
137
学习资料：《统计学习方法第二版》第一章 一. 机器学习定义 机器学习就是计算机能够利用数据和统计方法提高系统性能的方法。 二. 机器学习分类 机器学习一般可以分为监督学习、无监督学习、半监督学习和强化学习。 三. 机器学习方法三要素 模型+策略+优化算法=机器学习方法 模型 在监督学习中模型就是要学 ...
分类：
其他好文 时间：
2020-04-10 19:48:53
阅读次数：
73
学习资料：《统计学习方法 第二版》、《机器学习实战》、吴恩达机器学习课程 一. 感知机Proceptron 1. 感知机是根据输入实例的特征向量$x$对其进行二类分类的线性分类模型：$f(x)=\operatorname{sign}(w \cdot x+b)$，感知机模型对应于输入空间（特征空间）中 ...
分类：
其他好文 时间：
2020-04-10 19:43:53
阅读次数：
140
k NN k NN 是一种基本分类和回归方法。对新实例进行分类时，通过已经训练的数据求出 k 个最近实例，通过多数表决进行分类。故 k 邻近算法具有不显式的学习过程。 三个基本要素：k 值选择，距离度量，分类决策规则。 1. k 近邻算法 原理：给定一个训练集，对于新输入的实例，在训练集中找到与其相 ...
分类：
编程语言 时间：
2020-03-28 10:33:21
阅读次数：
85
一、引入 最开始知道生成模型和判别模型，是在李航的统计学习方法里，当时的理解是：生成模型，就是同时考虑了X和Y的随机性，也就是说二者都是随机变量；判别模型，就是只考虑了Y的随机性，而X并不是个随机变量，即使X存在于条件中，但是并没有p(x)这种说法。当时同时也知道了，朴素贝叶斯和隐马尔可夫都是生成模 ...
分类：
其他好文 时间：
2020-03-27 00:47:38
阅读次数：
176
梳理了一下统计学习三大要素，以及泛化误差上界定理，简单摘抄了一些证明。这篇理解部分比较多，由于需要一些泛函知识，所以并没有深入的去探索。 ...
分类：
其他好文 时间：
2020-03-25 23:09:41
阅读次数：
69
简介 统计学习，或者说机器学习的方法主要由监督学习、无监督学习和强化学习组成（它们是并列的，都属于统计学习方法）。 统计学习方法要素 1、假设数据独立同分布。（同数据源的不同样本之间相互独立） 2*、假设要学习的模型属于某个函数的集合，称为假设空间。（你确定了这个函数的样式，就是假设空间，但是函数里 ...
分类：
其他好文 时间：
2020-03-18 20:20:51
阅读次数：
103
