Hulu机器学习问题与解答系列 | 十二：注意力机制

几天不见想死你们啦~ 今儿的课题很好玩，跟上队伍一起来读！

今天的内容是

【注意力机制】

场景描述

作为生物体，我们的视觉和听觉会不断地获得带有序列的声音和图像信号，并交由大脑理解；同时我们在说话、打字、开车等过程中，也在不断地输出序列的声音、文字、操作等信号。在互联网公司日常要处理的数据中，也有很多是以序列形式存在的，例如文本、语音、视频、点击流等。因此如何更好的对序列进行建模，一向是研究的要点。

为了解决这些问题，注意力机制（attention mechanism）被引入Seq2Seq模型中。注意力机制模仿人在生成序列时的行为，当解码序列的某个输出时，重点关注输入序列中和当前位置的输出相关的部分，缓解了Seq2Seq模型的上述问题。作为一种通用的思想，注意力机制在包括Seq2Seq在内的多种场景中都得到了应用。

问题描述

RNN的Seq2Seq模型中引入了注意力机制（attention mechanism）是为了解决什么问题？在机器翻译的Seq2Seq模型中使用注意力机制建模时，为什么选用了双向的RNN模型？

背景知识假设：基本的深度学习知识。

该类问题的被试者：对RNN有一定的使用经验，或在自然语言理解、序列建模等领域有一定的经历。

解答与分析

我们已经介绍了Seq2Seq模型以及LSTM。在实际任务，例如机器翻译中，使用Seq2Seq模型，通常会先使用一个RNN作为编码器，将输入序列（源语言句子的词向量序列）编码成为一个向量表示，然后再使用一个RNN模型作为解码器，从编码器得到的向量表示里解码得到输出序列（目标语言句子的词序列）。

Seq2Seq模型中， 当前隐状态以及上一个输出词决定了当前输出词，即:

其中f, g是非线性变换，通常是多层神经网络；y_i是输出序列中的一个词，s_i是对应的隐状态。

Figure 1. Seq2Seq模型

在实际使用中，会发现随着输入序列的增长，模型的性能发生了显著下降。这是因为编码时将输入序列的全部信息压缩到一个向量表示中，随着序列增长，句子越前面的词的信息的丢失就越严重。试想翻译一个有100个词的句子，需要将整个句子全部词的语义信息编码在一个向量中，而在解码时，目标语言的第一个词大概率是和源语言的第一个词相对应的，这就意味着第一步的解码就需要考虑100步之前的信息。建模时的一个小技巧是将源语言句子逆序输入，或者将其重复两遍输入来训练模型，这可以得到一定的性能提升。使用LSTM能够在一定程度上缓解这个问题，但在实践中对于过长的序列仍然难以有很好的表现。

同时，Seq2Seq模型的输出序列中，常常会丢失或者重复部分输入序列的信息。这是因为在解码时，对当前词及对应的源语言词的上下文信息和位置信息也在编码解码过程中丢失了。

Seq2Seq模型中引入注意力机制就是为了解决这些问题。

在注意力机制中，仍然可以用普通的RNN对输入序列进行编码，得到隐状态h₁, h₂ ... h_T，但是在解码时，每一个输出词都依赖于前一个隐状态以及输入序列每一个对应的隐状态：

其中语境向量c_i是输入序列全部隐状态h₁, h₂ ... h_T的一个加权和：

权重参数，即注意力权重α_ij并不是一个固定权重，而是由另一个神经网络计算得到：

神经网络α将上一个输出序列隐状态s_i-1和输入序列隐状态h_j作为输入，计算出一个x_j, y_i对齐的值e_ij，再归一化得到权重α_ij。

Figure 2. 双向RNN的注意力机制模型

我们可以对此给出一个直观的理解：在生成一个输出词时，会考虑每一个输入词和当前输出词的对齐关系，对齐越好的词，会有越大的权重，对生成当前输出词的影响也就越大。下图给出了翻译时注意力机制的权重分布，在互为翻译的词上会有最大的权重。

Figure 3. 注意力机制的权重分布

在机器翻译这样一个典型的序列到序列模型里，生成一个输出词y_j时，会用到第i个输入词对应的隐状态h_i以及对应的attention权重α_ij，如果只使用一个方向的RNN网络来计算隐状态，那么h_i只包含了x₀到x_i的信息，相当于在α_ij这里丢失了x_i后面的词的信息。而使用双向RNN进行建模，第i个输入词对应的隐状态包含了

前者编码了x₀到x_i的信息，后者编码了x_i及之后所有词的信息，防止了前后文信息的丢失。

注意力机制是一种思想，可以有多种不同的实现方式，在Seq2Seq以外的场景也有不少应用，下图展示了在图像描述文本生成任务中的结果，可以看到在生成对应词时，图片上对应物体的部分有较大的注意力权重。

Figure 4. 注意力机制在图片描述文本生成中的应用

参考文献：

[1] Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." 

[2] Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention."

[3] Rockt?schel, Tim, et al. "Reasoning about entailment with neural attention."

下一题预告

【集成学习】

场景描述

之前几篇中我们介绍了具体的机器学习模型和算法，集成学习 (ensemble learning)更多的是一种组合策略，将多个机器学习模型结合起来，可以称为元算法 (meta-algorithm)。

面对一个机器学习问题，通常有两种策略，一种是研发人员尝试各种模型，选择其中表现最好的模型做重点调参优化。这种策略类似于奥运会比赛，通过强强竞争来选拔最优的运动员，并逐步提高成绩。另一种重要的策略是集各家之长，如同贤明的君主广泛的听取众多谋臣的建议，然后综合考虑，得到最终决策。后一种策略的核心，是将多个分类器的结果集成为一个统一的决策。使用这类策略的机器学习方法统称为集成学习。其中的每个单独的分类器称为基分类器。

集成学习可以大致分为两类：

1. Boosting：这类方法训练基分类器时采用串行的方法，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。

2. Bagging：这类方法基分类器之间无强依赖，可以并行。其中很著名的算法之一是基于决策树基分类器的随机森林(Random Forest)。为了让基分类器之间互相独立，将训练集分为若干子集（当训练样本数量较少时，子集之间可能有交叠）。

基分类器有时又称为弱分类器，因为基分类器的错误率要大于集成后的分类器。基分类器的错误，是偏差(Bias)和方差(Variance)两种错误之和。偏差主要是由于分类器的表达能力有限导致的系统性错误，表现在训练误差不能收敛到一个比较小的值。方差则是由于分类器对于样本分布过于敏感，导致在训练样本数较少时，产生过拟合。

Boosting方法通过逐步聚焦于基分类器分错的样本，减小集成分类器的偏差。Bagging方法则是采取分而治之的策略，通过对训练样本多次采样，并分别训练出多个不同模型，然后做综合，来减小集成分类器的方差。假设每个基分类器出错的概率都是相互独立的，在某个测试样本上，用简单多数的投票方法来集成结果，超过半数基分类器都出错的概率会小于每个单独的基分类器的出错概率。一个Bagging的简单示例如下图：

问题描述

1. 集成学习有哪些基本步骤？ 

2. 常用的基分类器是什么？