标签：并行计算 gpu 效率 内存 乘法 缺点 数据处理 处理 内容
batchsize过小：每次计算的梯度不稳定，引起训练的震荡比较大，很难收敛。
batchsize过大：
（1）提高了内存利用率，大矩阵乘法并行计算效率提高。
（2）计算的梯度方向比较准，引起的训练的震荡比较小。
（3）跑完一次epoch所需要的迭代次数变小，相同数据量的数据处理速度加快。
缺点：容易内容溢出，想要达到相同精度，epoch会越来越大，容易陷入局部最优，泛化性能差。
batchsize设置：通常10到100，一般设置为2的n次方。
原因：计算机的gpu和cpu的memory都是2进制方式存储的，设置2的n次方可以加快计算速度。
标签：并行计算 gpu 效率 内存 乘法 缺点 数据处理 处理 内容
原文地址：https://www.cnblogs.com/happytaiyang/p/11617551.html
