1.贝叶斯公式每次提到贝叶斯这三个字，心中的仰慕之情油然而生。感觉贝叶斯推断是众多机器学习算法的基础（尤其是统计学习）。一个很简单的公式应用到非常复杂和广泛的领域，真是一件了不起的事情。再讲贝叶斯公式之前，首先回顾一下概率的知识。若 A、B 是两个事件，我们用P(A)表示事件A发生的概率，P(B)表...
分类：
其他好文 时间：
2014-11-26 01:04:44
阅读次数：
321
本文基本按照《统计学习方法》中第一章的顺序来写，目录如下：1. 监督学习与非监督学习2. 统计学习三要素3.过拟合与正则化（L1、L2）4.交叉验证5. 泛化能力6. 生成模型与判别模型7. 机器学习主要问题8. 提问正文：1. 监督学习与非监督学习 从标注数据中学习知识的规律以及训练模型的方法叫....
分类：
其他好文 时间：
2014-11-16 21:18:33
阅读次数：
281
1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。 统计学习的对象是数据，它从数据出发，提取数据的特征，...
分类：
其他好文 时间：
2014-11-15 20:13:40
阅读次数：
223
统计学习方法（一）——统计学习方法概论统计学习方法（二）——感知机统计学习方法（三）——K近邻法统计学习方法（四）——朴素贝叶斯法统计学习方法（五）——决策树
分类：
其他好文 时间：
2014-11-06 19:40:06
阅读次数：
163
参考了许多资料加上个人理解，对十大算法进行如下分类：
?分类算法：C4.5,CART,Adaboost,NaiveBayes,KNN,SVM
?聚类算法：KMeans
?统计学习：EM
?关联分析：Apriori
?链接挖掘：PageRank...
分类：
编程语言 时间：
2014-11-03 11:32:18
阅读次数：
241
照例继续本周笔记。这次我没啥废话了...
--------------笔记开始---------------
投影矩阵与消灭矩阵
首先是上次没证的若干OLS性质。基本都是公式。我就照抄原来econometrics做的笔记了。权当复习了...对计量有兴趣的、线性代数还不错的，建议去看《Microeconometrics- Methods and Applications》（?A.
...
分类：
其他好文 时间：
2014-10-31 17:18:38
阅读次数：
268
SVM
1、支持向量机发展历史
1963年，Vapnik在解决模式识别问题时提出了支持向量方法。起决定性作用的样本为支持向量
1971年，Kimeldorf构造基于支持向量构建核空间的方法
1995年，Vapnik等人正式提出统计学习理论。
通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，...
分类：
其他好文 时间：
2014-10-31 10:09:13
阅读次数：
403
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
李航：http://research.microsoft.com/en-us/people/hangli/，是MSRA Web Search and Mining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性...
分类：
编程语言 时间：
2014-10-26 18:19:05
阅读次数：
208
统计学习中常用的损失函数有以下几种：(1) 0-1损失函数(0-1 loss function):L(Y,f(X))={1,0,Y≠f(X)Y=f(X)(2) 平方损失函数(quadratic loss function)L(Y,f(X))=(Y?f(X))2(3) 绝对损失函数(absolute ...
分类：
其他好文 时间：
2014-10-20 11:38:04
阅读次数：
170
