转自：https://www.cnblogs.com/shixiangwan/p/7532858.html 梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察 ...
分类：
编程语言 时间：
2018-10-05 22:40:08
阅读次数：
297
目前，深度学习和深度强化学习已经在实践中得到了广泛的运用。资源型博客sky2learn整理了15个深度学习和深入强化学习相关的在线课程，其中包括它们在自然语言处理（NLP），计算机视觉和控制系统中的应用教程。 这些课程涵盖了神经网络，卷积神经网络，循环网络和其变体，训练深度网络的困难，无监督表示学习 ...
分类：
其他好文 时间：
2018-09-13 14:14:03
阅读次数：
204
推荐系统在电商等平台使用广泛，这里讨论wide&deep推荐模型，初始是由google推出的，主要用于app的推荐。 概念理解 Wide & Deep模型，旨在使得训练得到的模型能够同时获得记忆（memorization）和泛化（generalization）能力： 记忆（memorization） ...
分类：
其他好文 时间：
2018-09-06 18:04:57
阅读次数：
633
训练过程中需要适时的调整参数，以获得比较好的模型，下面介绍几种调参方式： 参数初始化 初始化参数对结果的影响至关重要，要引起重视 Xavier 初始化参数对结果的影响至关重要，要引起重视 Xavier 权重初始化太大容易发散，初始化太小容易弥散而不收敛，Xavier是让权重均值为0，方差为2/in+ ...
分类：
其他好文 时间：
2018-08-20 19:05:15
阅读次数：
661
Resnet网络：两种不同设计结构的误差对比 疑问：残差网络用于解决深度网络的退化问题，那么对于浅层网络也有效果吗？ ...
分类：
其他好文 时间：
2018-08-06 19:26:59
阅读次数：
142
我有小孩之后就把家里的电视给拆了因为现在的电视简直不能看，取而代之的应该是书架和经典的书籍电视主要有以下几个问题：1、电视对于人的影响是一个灌输式的，不是主动思考的，2、电视节目非常浪费时间，随便一个电视剧就是几十集一追剧就要几个月3、现在的演艺明星很多都靠卖弄人设为生，以前还讲一点演技，起码还有点干货，还显得为观众有所付出，现在他们只需要维持一个人设就可以赚钱，这个钱我是不出的。4、电视节目的信
分类：
其他好文 时间：
2018-07-01 17:52:48
阅读次数：
195
流程：模型族->算法族->深度网络->深度学习 模型族：模型中含有超参数，给予不同的参数对应不同的模型，就形成了模型族 算法族：每一个模型对应一个完整算法，整个模型族对应了一个算法族 将算法族展开成一个深度网络，网络层数代表迭代次数，模型的超参数成为网络中的参数（如权重等）。利用少量标记数据就可以训 ...
分类：
Web程序 时间：
2018-06-16 16:18:21
阅读次数：
2380
本文是 Google 团队在 MobileNet 基础上提出的 MobileNetV2，其同样是一个轻量化卷积神经网络。目标主要是在提升现有算法的精度的同时也提升速度，以便加速深度网络在移动端的应用。 ...
分类：
Web程序 时间：
2018-05-23 13:02:50
阅读次数：
280
训练网络时，通常先对网络的初始权值按照某种分布进行初始化，如：高斯分布。初始化权值操作对最终网络的性能影响比较大，合适的网络初始权值能够使得损失函数在训练过程中的收敛速度更快，从而获得更好的优化结果。但是按照某类分布随机初始化网络权值时，存在一些不确定因素，并不能保证每一次初始化操作都能使得网络的初 ...
分类：
其他好文 时间：
2018-05-14 19:03:19
阅读次数：
193
深度Q网络是用深度学习来解决强化中Q学习的问题，可以先了解一下Q学习的过程是一个怎样的过程，实际上就是不断的试错，从试错的经验之中寻找最优解 关于Q学习，我看到一个非常好的例子，另外知乎上面也有相关的讨论 其实早在13年的时候，deepmind出来了第一篇用深度学习来解决Q学习的问题的paper，那 ...
分类：
其他好文 时间：
2018-05-05 19:43:55
阅读次数：
1388
