顾名思义，决策树model是树形结构，在分类中，表示基于特征对实例进行分类的过程。可以人为是“if-else”的合集，也可以人为是特征空间，类空间上条件概率分布。主要优点是分类速度快，可读性好。在学习时（training）根据loss function最小化原则建立决策树model，预测时对新数据利 ...
分类：
其他好文 时间：
2018-03-05 23:36:03
阅读次数：
333
大部分是问项目相关的。只记住了几个关键的问题。 1、手写快排 2、生成模型与判别模型的区别 分类问题：2种形式： F(x)=y p(y|x) 生成模型：由数据学习联合分布概率p(x,y),然后求出条件概率分布p(y|x) p(y|x) = p(x,y)/p(x) 例如，朴素贝叶斯。 判别模型： 直接 ...
分类：
其他好文 时间：
2018-02-27 23:27:13
阅读次数：
443
监督学习可以分为生成方法与判别方法，所学到的模型可以分为生成模型与判别模型。 生成模型 生成模型由数据学习联合概率分布$P(X,Y)$，然后求出条件概率分布$P(Y|X)$作为预测的模型，即生成模型： $$P(Y|X)=\frac{P(X,Y)}{P(X)}$$ 这样的方法之所以称为生成方法，是因为 ...
分类：
其他好文 时间：
2018-02-07 16:52:22
阅读次数：
242
上次我们讲过《Spark机器学习（上）》，本文是Spark机器学习的下部分，请点击回顾上部分，再更好地理解本文。1.机器学习的常见算法 常见的机器学习算法有：l 构造条件概率：回归分析和统计分类；l 人工神经网络；l 决策树；l 高斯过程回归；l 线性判别分析；l 最近邻居法；l 感知器；l 径向基 ...
分类：
其他好文 时间：
2018-01-24 22:19:13
阅读次数：
229
朴素贝叶斯法基于 1.贝叶斯定理 2.特征条件独立假设 用于分类的特征在类（y）确定的情况下是条件独立的 输入： 过程： 1.学习先验概率 2.学习条件概率分布（条件独立性假设） 其中： （极大似然估计） 3.根据贝叶斯公式，计算后验概率 带入条件概率公式： 上式中，分母是一样的，当k取不同值时分子 ...
分类：
其他好文 时间：
2018-01-11 15:35:25
阅读次数：
104
机器学习实战三（Naive Bayes） 前两章的两种分类算法，是确定的分类器，但是有时会产生一些错误的分类结果，这时可以要求分类器给出一个最优的猜测结果，估计概率。朴素贝叶斯就是其中一种。 学过概率论的人对于贝叶斯这个名字应该是相当的熟悉，在学条件概率的时候，贝叶斯公式可谓是一针见血。这里的“朴素 ...
分类：
其他好文 时间：
2018-01-09 14:42:53
阅读次数：
150
决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最 ...
分类：
其他好文 时间：
2017-12-28 23:27:58
阅读次数：
286
1 贝叶斯定理的引入 概率论中的经典条件概率公式： 公式的理解为，P（X ，Y）= P（Y，X）<=> P（X | Y）P（Y）= P（Y | X）P （X），即 X 和 Y 同时发生的概率与 Y 和 X 同时发生的概率一样。 2 朴素贝叶斯定理 朴素贝叶斯的经典应用是对垃圾邮件的过滤，是对文本格式 ...
分类：
编程语言 时间：
2017-11-04 16:23:24
阅读次数：
226
基于概率论的分类方法：朴素贝叶斯 1. 概述 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后，我们通过实例来讨论贝叶斯分类的中最简单的一种: 朴素贝叶斯分类。 2. 贝叶斯理论 & 条件概率 2.1 贝叶斯理论 ...
分类：
其他好文 时间：
2017-10-30 11:23:58
阅读次数：
168
梯度方向：上升的方向 梯度下降：沿着梯度的反方向下降，来最小化损失函数，也就是沿着梯度的反方向 泰勒级数：展开式通项 贝叶斯公式：后验概率=先验概率*条件概率 特征值与特征向量：特征值不同，特征向量线性无关 PCA:降维的同时尽可能的保留原始的信息 过程 1)先求解协方差矩阵 2)求解协方差矩阵的特 ...
分类：
其他好文 时间：
2017-10-22 22:13:15
阅读次数：
144
