稀疏编码(Sparse Coding)的前世今生(二)

       为了更进一步的清晰理解大脑皮层对信号编码的工作机制（策略），须要把他们转成数学语言，由于数学语言作为一种严谨的语言，能够利用它推导出期望和要寻找的程式。本节就使用概率推理（bayes views）的方式把稀疏编码扩展到随时间变化的图像上，由于人类或者哺乳动物在日常活动中通过眼睛获取的信号是随时间变化而变化的，对于此类信号仍然有一些稀疏系数和基能够描写叙述他们，同类型的处理方式也有慢特征分析(slow features analysis)。废话不多说了，进入正题：

       我们把图像流（图像序列）看成时空基函数的线性组合再加上一些噪声,当然时空基函数能够想象成是时空不变的，类似于行为识别里的3D-SIFT，这点貌似又和慢特征分析扯上关系咯。相同一时候空基函数仍然有一些系数，用表示，则图像流则能够看成时空基和系数的卷积加上一些噪声，其模型如(公式一)所看到的：

（公式一）

     整个模型能够形象的用（图一）展示，注意系数是一种单峰类似刺突的东东哦，（图一）上：

（图一）

      当然对于（图一）中的时空基函数应尽可能的稀疏，便于降低运算量，不然对图像序列的运算量太大了。对于模型的參数求解，先如果系数独立且满足稀疏，bruno基于这些如果，给出了系数的先验公式，如（公式二）所看到的：

（公式二）

      由于系数之间独立，所以他们的联合分布分解成单个分布的乘积形式，并且每一个系数满足稀疏如果，S是个非凸函数控制着系数alpha的稀疏。有了这些先验知识，给定图像序列后的系数alpha的后验概率如（公式三）所看到的：

（公式三）

     通过最大化此后验概率，然后利用其梯度下降法求解，求的系数alpha,所有求解步骤如（公式四）所看到的：

（公式四）

      公式虽然这么多，但扔不足以说明求解系数的具体步骤，由于（公式三）的后两项仍然不清楚，再次对这二项再做个如果，如（公式五）所看到的：

（公式五）

      虽然做了如此如果，可是P(I|alpha,theta)仍然不能直接计算，须要对此项採样方能完毕，这个地方是须要改进的地方，虽然如此，我们还是硬着头皮把学习基函数步骤一并贴出来，为兴许改进打下铺垫。学习过程如（图二）所看到的：

（图二）

      系数alpha通过梯度下降完毕，基函数更新则通过Hebbian learning学习完毕，Hebbian(海扁,又译赫布)学习就是加强同一时候激活的细胞之间的连接（"Cells that firetogether, wire together."），这点能够略微解释了“读书百遍”背后的大脑皮层可塑的工作机制。学习到的基函数如（图三）所看到的：

（图三）

      好咯，稀疏编码的生命科学的解释到此就差点儿相同了，能够看到思想不错，可是手工如果的太多，学习方法也不友好，随着代数学以及LASSO的引入，稀疏码逐渐開始成熟，并開始走上应用的道路，到了DeepLearning时代，手工成分也越来越少，威力貌似也越来越大。（好吧，我承认这节写的非常恶心，可是这节最大的亮点就是在空时域上编码，这对行为识别、语言识别啥的都有些帮助哦）

參考文献：

    Probabilistic Models of the Brain: Perception and Neural Function. MIT Press