最近跟完了Andrew Ng的Machine Learning前三周的课，主要讲解了机器学习中的线性回归（Linear Regression）和逻辑回归（Logistic Regression）模型。在这里做一下记录。
另外推荐一本统计学习的书，《统计学习方法》李航，书短小精悍，才200多页，但是内容基本上覆盖了机器学习中的理论基础。笔记 主要了解一下监督学习和无监督学习机器学习：是关于计算...
分类：
其他好文 时间：
2015-08-25 16:42:29
阅读次数：
240
一 统计学习 统计学习是关于计算机基于数据构建概论统计模型并运用模型对数据进行预测和分析的一门学科。其中“学习”的定义是：如果一个系统能够通过某个过程改进它的性能，这就是学习。1.1 统计学习对象统计学习的对象是数据，提取数据特征，抽象出数据模型，再应用到对数据的预测和分析中。1.2 统计学习目的统...
分类：
其他好文 时间：
2015-08-15 13:21:11
阅读次数：
121
参考李航《统计学习方法》 一开始的感知机章节，看着不太复杂就实现一下。。。 1 """ 2 感知机学习算法的原始形式 3 例2.1 4 """ 5 import numpy as np 6 7 class Perceptron: 8 def __init__(self,w,b,alpha)...
分类：
编程语言 时间：
2015-07-31 23:23:40
阅读次数：
274
第一章 统计学习方法概论统计学习的主要特点是:(1)统计学习以计算机及网络为平台，是建立在计算机及网络之上的;(2)统计学习以数据为研究对象，是数据驱动的学科；(3)统计学习的目的是对数据进行预测与分析；(4)统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析;(5)统计学习是概率论...
分类：
其他好文 时间：
2015-07-26 10:59:30
阅读次数：
322
第2章 感知机感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利...
分类：
其他好文 时间：
2015-07-26 10:59:12
阅读次数：
253
什么是感知机二分类的线性分类模型，输入是实例的特征向量，输出是实例的类别，取-1和+1两值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机是神经网络和支持向量机的基础。模型的使用条件数据集需要是线性可分的，同时，如果数据集是线性可分的话，经过一定的迭代次数一...
分类：
其他好文 时间：
2015-07-14 17:13:43
阅读次数：
91
原文：http://zhouyichu.com/machine-learning/Statistical-Learning-Introduction.html统计学习统计学习的特点统计学习(statistical learning)是关于计算机给予数据构建概率统计模型并运用模型对数据进行预测与分析的...
分类：
其他好文 时间：
2015-07-12 20:11:38
阅读次数：
199
原文：http://blog.csdn.net/keith0812/article/details/8901113“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”结构化风险结构化风险 = 经验风险 + 置信风险经验风险 =分类器在给定样本上的误差置信风险 = 分类器在未知...
分类：
其他好文 时间：
2015-07-08 10:47:41
阅读次数：
121
本文是要配合《统计学习方法》才能看懂的，因为中间有些符号和定义是直接使用书本中的先弄明白以下三个公式：1）Boost（提升法）=加法模型（即基函数的线性组合）+前向分步算法+损失函数2）Adaboost=Boost+损失函数是指数函数（基函数可以任意）3）提升树=Boost+基函数是决策树（损失函数...
分类：
其他好文 时间：
2015-07-07 10:59:09
阅读次数：
241
最近在看李航的统计学习方法P11时发现一个多项式函数拟合问题觉得公式的推导有问题，于是看了一些资料发现这里的推倒是有错误的，用python编程验证后发现按书上的求导结果拟合后的函数图像完全不对，下面给出正确的推导结果和对应的python实现与拟合效果。...
分类：
其他好文 时间：
2015-07-05 09:41:04
阅读次数：
342
