标签：分支 空间 记录 权重 sgd 博文 技巧 空间变换 压缩
神经网络结构，作为最成功的机器学习模型之一，其工作原理一直被埋藏得比较深，其解释性以至于被称为黑盒。
自己对于DNN的理解也只能算刚踏入了门槛，对于人脑的原理与DNN原理之间的互通性，一直是非常深信的，所以想一窥DNN成功背后的数学原理。
通过DNN原理探究系列博文，希望能总结归纳已经理解的知识点，梳理清楚知识点之间的关系结构，同时探讨各种流派对于DNN原理的解读。
目录会随着自己掌握的知识量逐渐扩展新的分支，以此记录自己的学习历程。
DNN结构与原理（神经元 + 权重 +非线激活）：
结构的作用：
激活响应区域Partition，拟合任意函数
向量空间的变换Transformation
向量空间变换技巧：核方法
训练和结构参数的影响与作用：
SGD与收敛速度
信息瓶颈理论：
隐层马尔科夫链的信息表述
信息压缩的必要性
信息压缩的方法
分类器原理（softmax）：
最大熵与玻尔兹曼分布
最大熵与最大似然的关联
能量模型
标签：分支 空间 记录 权重 sgd 博文 技巧 空间变换 压缩
原文地址：http://www.cnblogs.com/ws12345/p/7819628.html
