理论 机器学习技法：https://www.coursera.org/course/ntumltwo 假设上述网址不可用的话，自行度娘找别人做好的种子。或者看这篇讲义也能够：http://www.cnblogs.com/xbf9xbf/p/4712785.html Theano代码 须要使用我上一篇 ...
分类：
其他好文 时间：
2017-07-21 10:41:54
阅读次数：
255
介绍神经网络的基本概念以及Backprop的推导。 输入为x, 首先对x做一个线性变换到s，然后对s做（通常是非线性的）变换，作为下一层的输入。如果对s也是线性的，那整个网络就是线性的，就不需要那么多层了。 对 s 经常使用的一个是双曲余弦的变换tanh 在离原点比较远的地方，它比较像阶梯函数，在接 ...
分类：
Web程序 时间：
2017-06-21 14:02:51
阅读次数：
282
一些挑战： 网络结构的选择。CNN的想法是对邻近的输入，有着相同的weight。 模型复杂度。 最优化的初始点选择。pre-training 计算复杂度。 包含pre-training的DL框架 如何做pre-training? 下面介绍了一种方式。 weight可以看做是对x做特征转换，那么希望在 ...
分类：
其他好文 时间：
2017-06-21 13:54:00
阅读次数：
107
上一讲主要利用不同模型计算出来的g。採用aggregation来实现更好的g。假设还没有做出来g。我们能够採用bootstrap的方法来做出一系列的“diversity”的data出来。然后训练出一系列的g。比方PLA来说，尽管模型一样，就是直线对二维平面的切割，模型都为直线，那么我们利用boots ...
分类：
其他好文 时间：
2017-05-04 18:36:51
阅读次数：
137
1 核型岭回归 首先，岭回归的形式如下： 在《核型逻辑回归》中我们介绍过一个定理，即以上这种形式的问题，求得的w都能表示为z的线性组合： 因此我们把w代入，问题就转化为求β的问题，同时引入核技巧： 求解这个问题，先求梯度： 令 ...
分类：
其他好文 时间：
2017-03-08 13:04:04
阅读次数：
161
1 随机森林 bagging的好处是降低各个子分类器的variance，而决策树又是对数据敏感的算法，variance比较大。因此我们很自然地就把bagging用到了决策树。也就是基本的随机森林算法： 随机森林的好处是： ...
分类：
其他好文 时间：
2017-03-06 22:04:03
阅读次数：
134
1 决策树模型的数学表达形式 决策树模型画出图很简单。那么它的数学表达形式是怎样的呢？这里介绍递归形式： 其中，G(x)表示决策树对应的函数，b(x)表示分叉的规则，Gc(x)是子树的模型。 2 一般决策树生成算法的框架 即，学习划分规则b(x)，然后把数据按照b(x)划分为C部分，对每一部分递归地 ...
分类：
编程语言 时间：
2017-03-05 21:02:24
阅读次数：
282
http://m.blog.csdn.net/article/details?id=49591213 1. 前言 在学习深度学习的过程中，主要参考了四份资料： 台湾大学的机器学习技法公开课； Andrew NG的深度学习教程； Li feifei的CNN教程； caffe官网的教程； 对比过这几份资 ...
分类：
其他好文 时间：
2017-02-22 13:34:26
阅读次数：
537
AdaBoost D Tree有了新的权重的概念。 现在的优化目标，如何进行优化呢？ 不更改算法的部门，而想办法在输入的数据方面做修改。 权重的意义就是被重复取到的数据的次数。这样的话，根据权重的比例进行重复的抽样。最后的结果也和之前一样能够表达权重的意义在里面了。 在一个fully grown t ...
分类：
其他好文 时间：
2016-10-08 19:17:20
阅读次数：
166
随机森林是将bagging和decision tree结合在一起的算法。 random forest同样也继承了两个算法的优点，但是同时也解决了过拟合的缺点。 通过降维的方式来提高运算的速度。 每一个低维度的空间都可以看成是原feature的一个线性组合，由高维度向低维度的转换的过程是随机的，这样又 ...
分类：
其他好文 时间：
2016-10-08 16:11:36
阅读次数：
215
