ufldl学习笔记与编程作业:Feature Extraction Using Convolution,Pooling(卷积和池化抽取特征)
ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践。
在deep learning高质量群里面听一些前辈说,不必深究其他机器学习的算法,可以直接来学dl。
于是最近就开始搞这个了,教程加上matlab编程,就是完美啊。
新教程的地址是:http://ufldl.stanford.edu/tutorial/...
分类:
其他好文 时间:
2014-08-12 00:41:23
阅读次数:
372
上一节介绍了主成分分析应用于2维数据。现在使用高维的图像数据来试试效果。
原始图像如图1所示。
图1
每个图片都是12*12的小patch,原始数据是一个144*10000的矩阵x。
在使用了PCA旋转之后,可以检查一下此时的协方差矩阵是否已经成功变成对角阵了,如图2所示。
avg=mean(x,1);
x=x-repmat(avg,size(x,1),1);
xRot = ze...
分类:
其他好文 时间:
2014-08-11 21:28:52
阅读次数:
429
这一节不论是思想还是实现都比较容易。
主成分分析(PCA)就是模式识别里面说的K-L变换,思想是完全相同的。
详情可见我的博文:特征选择(三)-K-L变换
这里简单介绍几个概念。顺便贴出代码和效果图。
xRot = zeros(size(x));
xRot=u'*x;
figure(2);
scatter(xRot(1, :), xRot(2, :));
title('xRot');得到原...
分类:
其他好文 时间:
2014-08-11 18:04:42
阅读次数:
309
矢量化编程就是用矢量运算取代所有的显式for循环。
上一节所用的是512*512*10的数据集很小,我们取的patch很小(8*8),学来的特征很少(25),而我又注释掉了梯度校验(偷懒),所以程序用了1分钟就跑完了(i5处理器)。
但实际上我们遇到的问题规模比这个打太多了,稍微大一点的数据集比如说MNIST,这个数据库是另外一个更大的手写体数据库NIST的子集,包含60000个训练例子...
分类:
其他好文 时间:
2014-08-11 12:10:22
阅读次数:
323
主要内容:
Spotify是个类似酷我音乐的音乐网站,做个性化音乐推荐和音乐消费。作者利用deep learning结合协同过滤来做音乐推荐。
具体内容:
1. 协同过滤
基本原理:某两个用户听的歌曲都差不多,说明这两个用户听歌的兴趣、品味类似;某两个歌曲,被同一群人听,说明这两个歌曲风格类似。
缺点:
(1)没有利用歌曲本身的特征(信息)
(2)无法对“层级...
分类:
其他好文 时间:
2014-08-11 00:28:01
阅读次数:
615
ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程)
ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践。
在deep learning高质量群里面听一些前辈说,不必深究其他机器学习的算法,可以直接来学dl。
于是最近就开始搞这个了,教程加上matlab编程,就是完美啊。
新...
分类:
Web程序 时间:
2014-08-10 01:47:29
阅读次数:
339
学习Machine Learning,阅读文献,看各种数学公式的推导,其实是一件很枯燥的事情。有的时候即使理解了数学推导过程,也仍然会一知半解,离自己写程序实现,似乎还有一道鸿沟。所幸的是,现在很多主流的Machine Learning方法,网上都有open source的实现,进一步的阅读这些源码...
分类:
其他好文 时间:
2014-08-09 21:01:49
阅读次数:
2028
自编码器是什么?
自编码器本身就是一种BP神经网络。它是一种无监督学习算法。
我们都知道神经网络可以从任意精度逼近任意函数,这里我们让神经网络目标值等于输出值x,也就是模拟一个恒等函数:
太无聊了,是吗?输入等于输出,这网络有什么意义?但是,当我们把自编码神经网络加入某些限制,事情就发生了变化。如图1所示,这就是一个基本的自编码神经网络,可以看到隐含层节点数量要少于输入层节点数量。
...
分类:
其他好文 时间:
2014-08-09 11:37:57
阅读次数:
442
K-SVD has become a popular dictionary learning method for deriving dictionaries which can sparsely represent the given signals. It is an enhancement of K-means clustering method....
分类:
其他好文 时间:
2014-08-08 21:24:10
阅读次数:
256
实上有许多的途径可以了解机器学习,也有许多的资源例如书籍、公开课等可为所用,一些相关的比赛和工具也是你了解这个领域的好帮手。本文我将围绕这个话题,给出一些总结性的认识,并为你由程序员到机器学习高手的蜕变旅程中提供一些学习指引。...
分类:
其他好文 时间:
2014-08-08 16:16:46
阅读次数:
469