标签：实验室 block hpc ons 训练 成本 框架 new 标准
ASLP(Audio, Speech and Language Processing Group，音频、语音和语言处理组)位于西北工业大学，隶属于陕西省语音和图像信息处理重点实验室（SAIIP）。 ASLP小组成立于1995年。ASLP小组的使命是促进音频，语音和语言处理学科内的广泛学科的跨学科研究和教育。目前，ASLP集团的研究范围包括人机语音通信，语音和音频信号处理，视听处理，多媒体内容分析和检索。 在2011年，该组由三位正教授，一位副教授，四位兼职教授和三十多位博士和硕士生组成......
ASLP官网：
ASLP Kaldi Github：
https://github.com/robin1001/kaldi-aslp/blob/master/README.md
ASLP Kaldi是对Kaldi的增强，增强的功能有：
nnet增强
语音端点检测（VAD）
在线识别
并行化增强
BSP（Bulk synchronous parallel，整体同步并行计算模型），又名大同步模型或BSP模型，由哈佛大学Viliant和牛津大学Bill McColl提出。
BSP的创始人是英国著名的计算机科学家Valiant，他希望像冯·诺伊曼体系结构那样，架起计算机程序语言和体系结构间的桥梁，故又称作桥模型(Bridge Model)。该模型使用了三个属性描述：模块(Components)、选路器（Router）和同步路障器执行时间L。
ASGD（Averaged Stochastic Gradient Descent）平均随机梯度下降
EASGD（Elastic Averaging Stochastic Gradient Descent，弹性平均梯度下降）
BMUF（Blockwise Model-Update Filtering）
陈凯，ICASSP 2016
我们通过块内并行优化的增量块训练提出了一种新的深度学习机器的可伸缩训练方法，以利用数据并行性和块式模型更新过滤来稳定学习过程。通过在基于MPI的HPC机器学习框架的分布式GPU集群上实现协调并行作业调度和集体通信，我们成功地实现了BLSTM、RNN、全连接前馈DNN在两个基准任务（即309小时的Switchboard-I任务和1860小时"Switchboard+Fisher"）的大词汇量连续语音识别训练。我们在LSTM任务上实现了几乎线性的加速，而在DNN任务上实现了64个GPU卡，与在单个GPU上运行传统的基于mini-batch的SGD训练相比，识别精度不变。
借助盖房子这一比喻，关键点在于如何有效地整合工人的成果。每一个阶段工人完成工作之后，都需要将工作反馈给工头，依据反馈生成新的工作模型，然后工人依照新的工作模型，对新数据进行处理。然后不断迭代。但在这一过程中会涉及到沟通成本和有效整合的问题。
每一个工人给工头提交工作成果后，工头需要进行整合更新。如果工头缺乏大局观，只进行简单整合（Model Averaging），结果就不好。文中创造性地在整个流程中增加了一个模型更新滤波的步骤。在Model Averaging中，每一轮迭代只利用当前获得的信息更新模型，历史更新信息却被忽略了。因此，研究员们提出将每一轮模型更新的信息收集起来，以史为鉴，结合当前信息进行学习，这样一来能够保证每一轮的更新更为平滑，不会出现巨大的波动。使用这样的滤波方法后，最终生成模型的性能也大大提升。
来自 <https://www.msra.cn/zh-cn/news/features/parallel-training-20160322>
关键词检索
标签：实验室 block hpc ons 训练 成本 框架 new 标准
原文地址：https://www.cnblogs.com/JarvanWang/p/9152664.html
