支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上。 置信风险： 分类器对 未知样本进行分类，得到的误差。经验风险： 训练好的分类器，对训练样本重新分类得到的误差。即样本误差结构风险：置信风险 + 经验风险结构风险最小化就是为了防止过拟合而提出来的策略，贝叶斯估计中最大后验概率 ...
分类：
其他好文 时间：
2020-03-14 11:12:47
阅读次数：
109
Boosting&kmeans&特征工程 [TOC] 1 Boosting 1.1 Boosting的由来 古语云：三个臭皮匠，顶一个诸葛亮。而在机器学习领域，集成算法Boosting就是一个活生生的实例。Boosting和之前介绍过的Bagging相似，都是集成算法之一。Boosting通过整合多 ...
分类：
其他好文 时间：
2020-03-11 18:12:53
阅读次数：
48
统计学习基础知识 [toc] 现在我们开始统计学习系列课程的学习，首先先给大家介绍一下统计学习的基础知识。 1. 统计学习种类 统计学习一般分为两个主要类别：监督学习（ predictive learning, supervised learning ）以及非监督学习（ descriptive le ...
分类：
其他好文 时间：
2020-03-11 10:43:16
阅读次数：
88
1.感知机感知机是一种二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别{+1，-1}。感知机要求数据集是线性可分的。按照统计学习三要素模型、策略、算法的顺序来介绍。 2.感知机模型由输入空间到输出空间的如下函数：f(x)=sign(ω?x+b)f(x)=sign(ω?x+b) 其中ω，b ...
分类：
其他好文 时间：
2020-03-07 20:43:57
阅读次数：
81
本文主要参考卡耐基梅隆大学（CMU）的Ryan Tibshirani教授在 "Convex Optimization" 课上的Lecture Notes 在统计学习和机器学习领域，基本上你想做的绝大部分事情都是一种优化问题。所以，面对具体的问题，你要做的事情可以概括为下图所示 即：如何把头脑中的id ...
分类：
其他好文 时间：
2020-03-04 23:23:29
阅读次数：
62
慢慢才意识到概率统计的重要性，当时学的时候只知道很重要，是机器学习基础啥的，但是却没有真正意识到( ╯□╰ )。我现在的理解是，统计学习可以从大数据中挖掘出规律（其实和数据挖掘还是很相关的），在科研工作和生活中都可以帮助和指导我们。生活中，我们可以通过分析数据，“透过现象看本质” (learning ...
分类：
编程语言 时间：
2020-02-20 17:28:43
阅读次数：
108
专业书籍 1. 《人工智能 马少平》188 / 322 2. 《深度学习入门之Pytorch》110 / 221 3. 《剑指offer》114 / 334 4. 《统计学习方法》 非专业书籍 1. 《活着》完 2. 《许三观卖血记》完 3. 《步履不停》完 4. 《庆余年》完 5. 《魔女霓裳》完 ...
分类：
其他好文 时间：
2020-02-02 23:48:56
阅读次数：
72
1.统计学习 统计学习的对象：（1）data ： 计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。（2）数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的：用于对数据（特别是未知数据） 进行预测和分析。统计学习的方法：（1）分类： 监督学习无监督学习半监督学习强化学习 ...
分类：
其他好文 时间：
2020-01-25 19:28:51
阅读次数：
155
朴素贝叶斯法，就是使用贝叶斯公式的学习方法，朴素就是它假设输入变量（向量）的各个分量之间是相互独立的。所以对于分量之间不独立的分布，如果使用它学习和预测效果就不会很好。 简化策略 它是目标是通过训练数据集学习联合概率分布$P(X, Y)$用来预测。书上说，具体是先学习到先验概率分布以及条件概率分布， ...
分类：
其他好文 时间：
2020-01-25 15:31:35
阅读次数：
163
