Ruslan Salakhutdinov一方面是苹果的研究主管，另一方面是CMU的教授。 1. Ruslan说自己进入深度学习完全是运气，他在多伦多大学读硕士，然后休学了一年，他在金融领域工作，那时候他不确定是否要去读个博士。有一天早晨，他在路上遇到了Geoffrey Hinton。Geoffrey ...
分类：
其他好文 时间：
2017-11-26 12:36:10
阅读次数：
161
1. 本科的时候在多伦多大学上Geoffrey Hinton的课，在MNIST数字数据集上训练受限玻尔兹曼机，觉得很有趣。后来在UBC读硕士，上了另一门机器学习的课，那是他第一次深入了解神经网络的相关知识。他对人工智能很感兴趣，上了很多相关的课，但是对那些知识听不太懂，不是非常满意。他觉得神经网络才 ...
分类：
其他好文 时间：
2017-11-25 23:34:57
阅读次数：
156
1. 传统的边缘检测（比如Sobel）手工设计了3*3的filter（或者叫kernel）的9个权重，在深度学习中，这9个权重都是学习出来的参数，会比手工设计的filter更好，不但可以提取90度、0度的边缘，也可以提取出任意朝向的边缘（比如73度）。把这9个权重当成参数的思想已经成为计算机视觉中最 ...
分类：
其他好文 时间：
2017-11-25 20:44:48
阅读次数：
203
这门课是讲一些分析机器学习问题的方法，如何更快速高效的优化机器学习系统，以及NG自己的工程经验和教训。 1. 正交化(Othogonalization) 设计机器学习系统时需要面对一个问题是：可以尝试和改变的东西太多太多了。牛逼的机器学习专家很清楚自己要调什么以达到什么目的，这个调参和效果一一对应的 ...
分类：
其他好文 时间：
2017-11-18 18:49:43
阅读次数：
195
1. 经典的卷积网络 介绍几种经典的卷积神经网络结构，分别是LeNet、AlexNet、VGGNet。 LeNet-5： LeNet-5主要是针对灰度设计的，所以其输入较小，为 ，其结构如下： 在LetNet中，存在的经典模式： 随着网络的深度增加，图像的大小在缩小，与此同时，通道的数量却在增加； ...
分类：
其他好文 时间：
2017-11-16 21:59:32
阅读次数：
168
1. 如何走上人工智能的研究的？Bengio说他小时候读了很多科幻小说，1985年（64年出生，21岁）研究生阶段开始阅读神经网络方面的论文，对这个领域产生了热情。 2. 如何看深度学习这些年的发展？Bengio说他们从实验、直觉入手，然后才提出理论，比如为什么反向传播有效，为什么深度这么重要。20 ...
分类：
其他好文 时间：
2017-11-11 16:48:18
阅读次数：
211
这一周的主体是调参。 1. 超参数：No. 1最重要，No. 2其次，No. 3其次次。 No. 1学习率α：最重要的参数。在log取值空间随机采样。例如取值范围是[0.001, 1]，r = -4*np.random.rand(), α = 10r。 No. 2 Momentum β：0.9是个不 ...
分类：
其他好文 时间：
2017-11-11 15:27:39
阅读次数：
285
以下为在Coursera上吴恩达老师的DeepLearning.ai课程项目中，第一部分《神经网络和深度学习》第二周课程部分关键点的笔记。笔记并不包含全部小视频课程的记录，如需学习笔记中舍弃的内容请至 Coursera 或者 网易云课堂。同时在阅读以下笔记之前，强烈建议先学习吴恩达老师的视频课程。 ...
分类：
其他好文 时间：
2017-11-07 22:19:10
阅读次数：
242
对自编码器的理解： 对于给定的原始输入x，让网络自动找到一种编码方式（特征提取，原始数据的另一种表达），使其解码后的输出x'尽可能复现原始输入x。 知乎参考：https://www.zhihu.com/question/41490383 UFLDL : http://deeplearning.sta ...
分类：
Web程序 时间：
2017-11-07 20:48:12
阅读次数：
322
1. 计算深度神经网络的时候，尽量向量化数据，不要用for循环。唯一用for循环的地方是依次在每一层做计算。 2. 最常用的检查代码是否有错的方法是检查算法中矩阵的维度。 正向传播： 对于单个样本，第i层网络 z[i] = W[i]a[i-1] + b[i]， a[i] = f[i](z[i])。 ...
分类：
其他好文 时间：
2017-10-25 21:46:38
阅读次数：
265
