标签：
凸优化就是函数是凸函数，定义域也是凸集，不会有局部极小值问题；非凸优化就是在寻找最小值（或最大值）时会陷入局部极小值，这就是机器学习里某些算法经常遇到的问题。
记录今天学习到的matlab函数：
1. numel（A），求A的元素个数，即number of elements；
2. rem（A，a），求余，如果是向量，则返回的也是向量，每个元素对应原来除以a后的余数；
3. assert（expression，‘提示内容’），产生错误提示，当表达式expression不满足时，提示单引号内的内容；
深度神经网络：
概念——含多个隐藏层的网络；
作用——可以学习更多复杂的输入特征；
原因——因为每一个隐层都可以对上一层的输出进行非线性变换；
注意：隐层的激活函数应该为非线性函数，如果为线性函数，那么线性函数的组合依然是线性函数，它的表达能力与浅层的线性函数并没有区别，表达能力并没有增强。
训练神经网络步骤：
1. 提取训练数据。对数据样本分成多个训练集，把样本的输入、输出的格式，行与列分别是什么，怎么用，搞清楚；
2. 构造初始网络结构。先构造大的网络结构，包括多少层、每一层多少个节点；再确定参数，包括要训练的迭代次数、学习率、动量因子、隐层和输出层的激活函数等；最后初始化权重和偏置。
3. 训练网络结构。
。。。。
标签：
原文地址：http://www.cnblogs.com/theHanna/p/4316916.html
