深度学习之神经网络与支持向量机 引言：神经网络(Neural Network)与支持向量机(Support Vector Machines，SVM)是统计学习的代表方法。可以认为神经网络与支持向量机都源自于感知机(Perceptron)。感知机是1958年由Rosenblatt发明的线性分类模型。....
分类：
其他好文 时间：
2015-07-03 22:00:00
阅读次数：
138
从人人上转过来的 前言：本文翻译自deeplearning网站，主要综述了一些论文、算法已经工具箱。 ? 引言：神经网络（Neural?Network）与支持向量机（Support?Vector?Machines，SVM）是统计学习的代表方法。可以认...
分类：
其他好文 时间：
2015-06-29 10:19:47
阅读次数：
167
《统计学习方法》第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐含变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成： E步，求期望（expectation）； M步，求极大（maximization）。 所以这一算法成...
分类：
编程语言 时间：
2015-06-24 16:00:38
阅读次数：
194
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
http://blog.csdn.net/abcjennifer/article/details/8164315本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Fo...
分类：
其他好文 时间：
2015-06-20 17:04:28
阅读次数：
150
HMM（hidden markov model）可以用于模式识别，李开复老师就是采用了HMM完成了语音识别。一下的例子来自于《统计学习方法》一个HMM由初始概率分布，状态转移概率分布，观测概率分布确定。并且基于两个假设：1 假设任意时刻t的状态只依赖于前一个时刻的状态，与其他时刻的状态和观测序列无关...
分类：
编程语言 时间：
2015-06-15 22:04:26
阅读次数：
207
决策树（decision tree）是一种基本的分类与回归方法。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其 主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失...
分类：
其他好文 时间：
2015-06-14 18:17:29
阅读次数：
2162
提升树是以分类树或回归树为基本分类器的提升方法 提升树被认为是统计学习中性能最好的方法之一 提升方法实际采用加法模型（基函数的线性组合）与前向分步算法 以决策树为基函数的提升方法称为提升树 对分类问题决策树是二叉分类树 对回归问题决策树是二叉回归树 提升树模型可以表示为决策树的加法模型： T(x;Θ...
分类：
其他好文 时间：
2015-06-13 22:58:53
阅读次数：
159
提升方法的基本思路 在概率近似正确（probably approximately correct，PAC）学习的框架中， 一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的； 一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机...
分类：
其他好文 时间：
2015-06-13 21:35:12
阅读次数：
1475
logistic distribution 设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 式中，μ为位置参数，γ>0为形状参数。 密度函数是脉冲函数 分布函数是一条Sigmoid曲线(sigmoid curve)即为阶跃函数 二项逻辑斯谛回归模型 二项逻辑斯谛回归模型是如...
分类：
其他好文 时间：
2015-06-12 20:39:16
阅读次数：
146
