深度学习的应用前提（个人见解）

时间：2014-06-09 13:03:42 阅读：503 评论：0 收藏：0 [点我收藏+]

仅仅是本人个人理解，可以转载，不供参考。。。

————————————————————————

Hinton大神在Science上发的文章《Reducing the Dimensionality ofData with Neural Networks》已经明确说明了——深度学习的本质是一种降维！

可以从降维的角度来探讨深度学习的应用前提：稀疏性！倘若信号或图像完全由噪声组成（或者信噪比很低，如EEG经常被噪声所掩盖），无论用什么方法降维都必定丢失一部分信息（特别是在低信噪比信号中，经常是丢了西瓜拣芝麻，无标签学习只学到噪声，到bp阶段才提取出一部分有用信号）。No free lunch！DL也不是万能的。

再从稀疏性出发，发现数据平滑性很大程度决定了稀疏性。数据在时间、空间的平滑性说明存在冗余信息，这意味着通过某种映射可以得到数据的稀疏性表示（如正弦波经过傅里叶变换映射到频域，固定频率的正弦波只需要一个频率和相位即可表示出原始信号）。总之，使用DL是有代价的（一定存在一部分信息丢失），稀疏性的强弱决定DL压缩数据的大小。

总的概括可以发现，应用深度学习方法的过程如下：

深度学习<==>降维<==稀疏性<==平滑性

其中平滑性到稀疏性的映射是最为关键的步骤，。。。这样就从DL这个打坑掉进另一个大坑中。。。核函数什么的不懂了、小波也学的很渣。

常常发现对同一个问题用同一个方法，大神能做到99%，我只能做90%多一点。究其原因就是方法和问题的结合，结合的好坏一般是在preprocessing上！！！

由平滑性到稀疏性转换就是一个preprocessing。对于空间平滑的数据，如手写数据图像（空间是平滑的，只有边缘突变），简单二值化处理再拉成一个一维向量就发现它是稀疏的；对于时间平滑的信号，常常可以映射到频域中去，将较小的幅值取零，稀疏了。Done！套公式把DL方法挨个试一遍，调得一手好参数！Paper在呼唤！

来自为知笔记(Wiz)

深度学习的应用前提（个人见解）,布布扣,bubuko.com

深度学习的应用前提（个人见解）

标签：c style a http int 使用

原文地址：http://www.cnblogs.com/lijingcong/p/3776882.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行