学习 定义：如果一个系统能够通过执行某个过程改进他的性能，这就是学习。 统计学习的对象：数据 目的：对数据进行预测和分析 方法：监督学习、非监督学习、半监督学习、强化学习 统计学习的三要素：方法 = 模型+策略+算法 输入变量和输出变量均为连续变量的预测问题称为回归问题 输出变量为有限个离散变量的预 ...
分类：
其他好文 时间：
2018-04-16 21:57:26
阅读次数：
160
《统计学习方法》李航 读书笔记 习题 1.1 伯努利模型下的极大似然估计与贝叶斯估计。 答： 伯努利模型：总体信息、样本信息 $$ P(A|\theta) = \sum_{i=1}^{N}\frac{I(O_i = 1)}{N} \quad ^{[1]} $$ 贝叶斯估计：总体信息、样本信息、先验信 ...
分类：
其他好文 时间：
2018-04-08 10:50:34
阅读次数：
448
华盛顿大学 《机器学习》 笔记。 knn k-nearest-neighbors : k近邻法 给定一个 数据集，对于查询的实例，在数据集中找到与这个实例最邻近的k个实例，然后再根据k个最邻近点预测查询实例的类别。 《统计学习方法》中这样描述的： K近邻模型是基于训练数据集 对 特征空间的一个划分。 ...
分类：
其他好文 时间：
2018-03-29 13:27:23
阅读次数：
203
听说这个词很久了，最近花了几天时间在啃这块东西。 看了李航的统计学习方法，实际不太理解，上面没有实际的案例，只是列举了一些定理和公式。 Conditional Random Field 属于 Markov Random Field， which 可以表示为一个无向图模型。 今天早上看了一下这篇blo ...
分类：
其他好文 时间：
2018-03-29 10:23:21
阅读次数：
131
一、决策树 1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程， 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型 预测时，对新的数据，利用决策树模型进行分类， 决策树学习通常分为3个步骤：特征选择、 ...
分类：
其他好文 时间：
2018-03-27 12:30:41
阅读次数：
143
朴素贝叶斯(naive bayes) 标签： Python 机器学习 主要參考资料：《机器学习实战》《统计学习方法》 1.朴素贝叶斯分类原理 朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设(称为朴素的原因)的分类方法。先看看维基百科中贝叶斯定理的描写叙述： 贝叶斯定理（维基百科） 通常，事件A在事件 ...
分类：
其他好文 时间：
2018-03-21 11:36:14
阅读次数：
253
参考资料 【1】 Spark MLlib 机器学习实践 【2】 统计学习方法 1、Logistic分布 设X是连续随机变量，X服从Logistic分布是指X具有下列分布函数和密度函数 ，。其中u为位置参数，γ为形状参数。如下图： 分布函数以(u,1/2)为中心对称，满足：，其中形状参数γ越小，中心部 ...
分类：
编程语言 时间：
2018-03-03 14:13:53
阅读次数：
201
参考资料： 【1】 Spark MLlib 机器学习实践 【2】 机器学习之梯度下降 http://www.cnblogs.com/rcfeng/p/3958926.html 【3】 统计学习方法 1、回归分析概念 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最 ...
分类：
其他好文 时间：
2018-03-03 12:19:09
阅读次数：
168
①EM算法： http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html 李航 《统计学习方法》9.1节 ②混合高斯模型（GMM）： http://blog.pluskid.org/?p=39 （前面片段+后面matlab代码+c ...
分类：
编程语言 时间：
2018-01-17 00:21:05
阅读次数：
207
2017.12.1-至今: 1.<机器学习实战>进行中 2.<统计学习方法>进行中 3.<集体智慧编程>进行中 2017.10.16-2017.11.30 1.<Python3网络爬虫实战案例> --崔庆才 看完，代码过完(部分需要云主机的章节未实践) 2017.9.1-2017.10.15 1.< ...
分类：
其他好文 时间：
2017-12-29 20:06:11
阅读次数：
108
