模型选择的一些基本思想和方法0. 引言有监督学习是日常使用最多的建模范式，它有许多更具体的名字，比如预测模型、回归模型、分类模型或者分类器。这些名字或来源统计，或来源于机器学习。关于统计学习与机器学习的区别已经有不少讨论，不少人认为机器学习侧重于目标预测，而统计学习侧重于机制理解和建模。个人更加直观...
分类：
其他好文 时间：
2015-08-31 19:26:08
阅读次数：
304
稍微了解有监督机器学习的人都会知道，我们先通过训练集训练出模型，然后在测试集上测试模型效果，最后在未知的数据集上部署算法。然而，我们的目标是希望算法在未知的数据集上有很好的分类效果（即最低的泛化误差），为什么训练误差最小的模型对控制泛化误差也会有效呢？这一节关于学习理论的知识就是让大家知其然也知其所...
分类：
其他好文 时间：
2015-08-26 19:49:35
阅读次数：
272
流数据：（1）传感器数据 （2）图像、视屏数据 （3）互联网数据 （4）业务数据机器学习：（1）监督学习：给定训练集，预测测试集。训练集包括数据和响应。常见的有监督学习包括分类和回归。（2）无监督学习：该训练集中只包括特征，没有人工标注的目标。常见的务监督学习方法包括聚类和密度估计。（3）半监督学习...
分类：
其他好文 时间：
2015-08-25 18:36:37
阅读次数：
1114
第一周：简介机器学习，有监督学习，无监督学习。
1-1
1-2
1-3
1-4
第二周：
2-1
2-2：介绍cost function定义。
2-3：在回归函数是一个经过原点的直线的情况下，演绎cost function最小化的计算。
2-4：在回归函数是一条直线时，通过等高线演绎cost function最小化的计...
分类：
其他好文 时间：
2015-08-21 23:18:43
阅读次数：
187
决策树是一种常见的机器学习算法，用于有监督分类问题，本文结合一个具体实例，通过手动一步一步建树，学习算法原理。...
分类：
其他好文 时间：
2015-08-16 23:14:48
阅读次数：
199
原文：http://blog.csdn.net/suipingsp/article/details/41645779支持向量机基本上是最好的有监督学习算法，因其英文名为supportvectormachine，简称SVM。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类...
分类：
编程语言 时间：
2015-08-16 11:59:01
阅读次数：
240
课程主页，亲测能上，有好些材料
http://cs229.stanford.edu/
Andrew讲的比较早的机器学习应用，1958年有人用来训练一个会下国象的电脑，这个有机会可以试一下，训练一个会下中国象棋的。
介绍了有监督的学习（supervised）和无监督的学习型算法（unsupervised）
有监督是有标准答案集来反馈的训练，无监督的就是没有标准答案的通过算法从...
分类：
其他好文 时间：
2015-08-15 21:37:58
阅读次数：
212
在竞争网络结构的基础上，学习向量化（learning vector quantization，LVQ）网络被提出来，融合竞争学习思想和有监督学习算法的特点，通过教师信号对输入样本的分配类别进行规定，从而克服自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。
1. 向量量化
向量量化的思路是，将高维输入空间分成若干不同的区域，对每个区域确定一个中心向量作为聚类的中心，与其处于同一区域的...
分类：
其他好文 时间：
2015-08-15 13:31:45
阅读次数：
189
简介Naive和BayesNaive：假定向量中的所有特征是相互独立的
Bayes：面向的问题NB主要用于解决有监督分类问题。相比于其他模型，其具备简单（不需要复杂的迭代式参数估计，由此方便处理大数据）、可解释性强（生成模型）、效果佳的特点。目标针对二分类问题，利用训练集数据学习一个判断阈值α，对于新来的数据做判定，大于α的数据属于正类，小于α的数据属于负类。有监督分类中存在两大流派 diagno...
分类：
编程语言 时间：
2015-08-12 10:18:11
阅读次数：
206
SVM被许多人认为是有监督学习中最好的算法，去年的这个时候我就在尝试学习。不过，面对长长的公式和拗口的中文翻译最终放弃了。时隔一年，看到Andrew讲解SVM，总算对它有了较为完整的认识，总体思路是这样的：1.介绍间隔的概念并重新定义符号；2.分别介绍functional margins与geom...
分类：
系统相关 时间：
2015-07-31 14:34:46
阅读次数：
195
