本文基于台大机器学习技法系列课程进行的笔记总结。
主要内容如下图所示：
首先介绍一下径向基函数网络的Hypothesis和网络的结构，然后介绍径向基神经网络学习算法，以及利用K-means进行的学习，最后通过一个实例加深对RBF神经网络认识和理解。
RBF神经网络的Hypothesis和网络结构
我们从基于Gaussian kernel的support vector mac...
分类：
其他好文 时间：
2015-07-17 09:50:54
阅读次数：
249
本文基于台大机器学习技法系列课程进行的笔记总结。
一、主要内容
topic 1 深度神经网络结构
从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换，也就是特征抽取。一般的隐藏层（hidden layer）较少的类神经网络结构我们称之为shallow，而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示：
从两者的对比中可以明显...
分类：
其他好文 时间：
2015-07-16 17:04:07
阅读次数：
267
上节课讲了Kernel的技巧如何应用到Logistic Regression中。核心是L2 regularized的error形式的linear model是可以应用Kernel技巧的。这一节，继续沿用representer theorem，延伸到一般的regression问题。首先想到的就是rid...
分类：
其他好文 时间：
2015-07-13 18:02:29
阅读次数：
114
这里先再次提出我们利用aggregation获取更好性能的Hypothesis G所涉及的方法：blending，就是在得到g_set之后进行融合；learning呢？就是在线online的获取g并融合。下面就是关于整个aggregation所涉及到的方法总结：
pic1
其中Bagging、AdaBoost我们都已经探讨，它们分别是基于uniform(voting / average)和no...
分类：
其他好文 时间：
2015-07-11 18:40:28
阅读次数：
321
这节课内容介绍了SVM的核心。首先，既然SVM都可以转化为二次规划问题了，为啥还有有Dual啥的呢？原因如下：如果x进行non-linear transform后，二次规划算法需要面对的是d`+1维度的N个变量，以及N个约束如果d`的维度超大，那么二次规划解起来的代价就太大了。因此，SVM的精髓就在...
分类：
系统相关 时间：
2015-07-03 23:25:46
阅读次数：
723
首先从介绍了Large_margin Separating Hyperplane的概念。（在linear separable的前提下）找到largest-margin的分界面，即最胖的那条分界线。下面开始一步步说怎么找到largest-margin separating hyperplane。接下来...
分类：
系统相关 时间：
2015-07-02 22:21:01
阅读次数：
239
本栏目（机器学习）下机器学习技法专题是个人对Coursera公开课机器学习技法（2015）的学习心得与笔记。所有内容均来自Coursera公开课Machine Learning Techniques中Hsuan-Tien Lin林轩田老师的讲解。（https://class.coursera.org/ntumltwo-001/lecture）
第1讲-------Linear Support...
分类：
系统相关 时间：
2015-05-17 07:07:03
阅读次数：
622
引言
接下里的一系列有关机器学习的博文，我将具体的介绍常用的算法，并且希望在这个过程中尽可能地结合实际应用更加深入的理解其精髓，希望所付出的努力能得到应有的回报。
接下来的有关机器学习基础博文主要根据机器学习技法课程的学习，围绕特征转换(feature transforms)这个主要工具，从以下三个方向进行探讨：
如果现在有很多特征转换可以使用的时候，我们该如何运用这些特征转换，...
分类：
其他好文 时间：
2015-03-08 17:20:15
阅读次数：
199
背景
之前所讨论的SVM都是非常严格的hard版本，必须要求每个点都被正确的区分开。但是，实际情况时很少出现这种情况的，因为噪声数据时无法避免的。所以，需要在hard SVM上添加容错机制，使得可以容忍少量噪声数据。 "软"化问题
软化SVM的思路有点类似正规化，在目标函数添加错误累加项，然后加一个...
分类：
其他好文 时间：
2015-01-11 17:31:22
阅读次数：
228
背景
上一讲从对偶问题的角度描述了SVM问题，但是始终需要计算原始数据feature转换后的数据。这一讲，通过一个kernel（核函数）技巧，可以省去feature转换计算，但是仍然可以利用feature转换的特性。 什么是kernel
Kernel的其实就是将向量feature转换与点积运算合并后...
分类：
其他好文 时间：
2015-01-05 00:15:09
阅读次数：
244
