Ensemble模型的基础概念。 先总结归纳几个aggregation的常见形式： 多选一的形式特别需要那几个里面有一个表现好的，如果表现都不太好的时候，几个模型融合到一起真的会表现好吗？ 左图：如果只能用垂直的线和水平的线做分类，结果肯定不是太好，但是如果能把垂直的线和水平的线结合起来，就有可能做 ...
分类：
其他好文 时间：
2016-09-30 02:32:33
阅读次数：
135
回顾一下soft margin SVM的知识： 然而从另一个角度来看，分为真的有犯错和没有犯错： 在没有犯错的时候，ξn=0就好了。于是ξn就可以写成一个求max的过程。根据这个思路，我们有了SVM的新形式： 这样一来，ξn就不再是一个独立的变量，它变成了一个由b和w决定的变量，这样的话，式子又被简 ...
分类：
其他好文 时间：
2016-09-30 02:22:10
阅读次数：
163
根据上一次推导出来的问题： 从计算的角度来说，如果维度太大，向量z的内积求解起来非常的耗时耗力。 我们可以把这个过程分拆成两个步骤，先是一个x空间到z空间的转换Φ，再在z空间里做内积。如果能把这两个步骤合起来算得快一点的话就可以避开这个大计算量。 x和x'转换了再做内积： 这样的方法可以算得比较快， ...
分类：
系统相关 时间：
2016-09-29 20:16:21
阅读次数：
209
线性支持向量机。 在这种分类问题中，我们需要选一条最“胖”的线，而这条最胖的线就是margin largest的线。 我们的优化目标就是最大化这个margin。也就是在最小化每一个点到这条线的距离。这个距离怎么计算呢？ 为了以后不会混淆，w0就不整合成向量w了，另外取一个新名字b。同样地，x0=1也 ...
分类：
系统相关 时间：
2016-09-28 22:19:03
阅读次数：
442
cousera-Andrew NG的机器学习足够入门cs229台湾大学林轩田老师的机器学习基石和机器学习技法结合李航的<<统计学习方法>>和周志航的<<机器学习>> 看完之后看<<机器学习实战>>之后去kaggle打比赛, 再想深了看看pr ...
分类：
系统相关 时间：
2016-07-08 13:51:24
阅读次数：
176
原文链接：http://m.blog.csdn.net/article/details?id=49591213 1. 前言 在学习深度学习的过程中，主要参考了四份资料： 台湾大学的机器学习技法公开课； Andrew NG的深度学习教程； Li feifei的CNN教程； caffe官网的教程； 对比 ...
分类：
其他好文 时间：
2016-06-03 17:20:57
阅读次数：
361
7 Blending and Bagging7.1 Motivation of Affregation 之前都是通过特征转换达到更好的分类目的，而有另一种思路就是将多个模型的分数线性组合起来以期得到更好的效果。它们的权重应为x的函数，这样能包含投票、取最大等多种情况。7.2 Uniform Blending 本节从理论上探讨了blend的可行性：
G(x)=1T∑Tt=1gt(x)G(x)=\...
分类：
其他好文 时间：
2016-05-07 09:48:40
阅读次数：
294
9 Decision Tree9.1 Decision Tree Hypothesis 本节主要讲述了决策树的两种解释，一种是决策树是由叶子节点和路径组成的，当选择叶子节点对应的路径时采用对应的叶子节点结果；另一种观点是由分叉的树递归组成，当选择某一分支时将采用分支对应的子树的演算法结果。
决策树的优点在于可解释性强，高效。缺点是理论保证不足，并且算法多样。9.2 Decision Tree...
分类：
其他好文 时间：
2016-05-07 09:10:22
阅读次数：
469
12 Neural Network12.1 Motivation 在神经网络的节点上使用感知机，那我们可以把神经网络看作是通过不同感知机以及常数的线性组合得到一个新的特征，将新的特征加上一个常数再进行线性组合得到结果。其原理和aggregation类似，但是在神经网络中进行了多层级的aggregation。
从生物的角度来说神经网络模拟了人脑神经网络。12.2 Neural Network...
分类：
Web程序 时间：
2016-05-07 08:56:45
阅读次数：
227
13 Deep Learning13.1 Deep Neural Network 将神经网络的层数增大，即称为深度学习。深度学习一般在输入数据为row data的时候使用，因为这些数据很难人为构造出合适的特征。深度学习一般面临如下挑战：
(1)神经网络结构的决定：一般只能通过人的主观领域知识来决定神经网络结构，例如图像识别中的convolutional NNet，即认为相邻的像素才有必要连接...
分类：
Web程序 时间：
2016-05-07 08:44:28
阅读次数：
960
