第2章 感知机 感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。 ...
分类：
其他好文 时间：
2017-01-07 22:32:59
阅读次数：
305
转载自：http://www.68idc.cn/help/jiabenmake/qita/20160530618218.html 参考书本： 《2012.李航.统计学习方法.pdf》 书上首先介绍概率无向图模型，然后叙述条件随机场的定义和各种表示方法，那这里也按照这个顺序来。 概率无向图模型(马尔可 ...
分类：
其他好文 时间：
2016-12-25 17:49:52
阅读次数：
287
SVM是一种有监督的统计学习方法，能够最小化经验误差和最大化几何边缘，被称为最大间隔分类器，可用于分类和回归分析。 一、基本原理 SVM是一个机器学习的过程，在高维空间中寻找一个分类超平面，将不同类别的数据样本点分开，使不同类别的点之间的间隔最大，该分类超平面即为最大间隔超平面，对应的分类器称为最大 ...
分类：
其他好文 时间：
2016-12-11 03:13:39
阅读次数：
336
回顾我大学自己课外读过的一些书 学习书籍（机器学习与自然语言处理之路）： 《机器学习实战》 《机器学习》 （南大周志华博士） 《统计学习方法》 （李航博士） 《数学之美》 （吴军博士） 《python数据可视化》 《利用python进行数据分析》 课外书： 《追风筝的人》 《麦田的守望者》 《丰乳肥 ...
分类：
其他好文 时间：
2016-11-20 18:59:10
阅读次数：
169
运用对偶的（对应原始）感知机算法实现线性分类。 参考书目：《统计学习方法》(李航) 算法原理： 代码实现： 环境：win7 32bit + Anaconda3 +spyder 和原始算法的实现基本框架是类似的，只是判断和权值的更新算法有点变化。 输出： ...
分类：
编程语言 时间：
2016-11-18 18:17:18
阅读次数：
334
运用最简单的原始（对应的有对偶）感知机算法实现线性分类。 参考书目：《统计学习方法》(李航) 算法原理： 踩到的坑：以为误分类的数据只使用一次，造成分类结果很差，在train函数内加个简单的递归，解决问题；不同的学习率结果差别很大，通过循环学习率取最优解决。 AND：个人理解尚浅，理论和代码都未免有 ...
分类：
编程语言 时间：
2016-11-16 02:06:08
阅读次数：
327
1 将决策树看作条件概率分布 决策树可表示为给定特征条件下类的条件概率分布。即，将特征空间划分为互不相交的单元，每个单元对应于决策树中一条从根节点到叶节点的路径。每个单元对应一个条件概率分布。一个好的决策树在叶节点上的条件概率（即一个单元内的条件概率）应该偏向某个类，即保证叶子节点内的数据的熵很小。 ...
分类：
其他好文 时间：
2016-11-10 03:08:44
阅读次数：
220
1.统计学习
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、...
分类：
其他好文 时间：
2016-10-31 22:20:38
阅读次数：
380
今天在看李航的《统计学习方法》的决策树剪枝过程中，又一次发现了正则化这个概念。故百度并记录如下。 ...
分类：
其他好文 时间：
2016-10-13 02:36:36
阅读次数：
275
0. 概述：
Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，
logistic回归模型与最大熵模型都是对数线性模型。
本文第一...
分类：
其他好文 时间：
2016-10-12 11:43:03
阅读次数：
254
