笔记-Learning_Kernel-Smoothed_Machine_Translation_with_RetrievedExamples

在线更新已部署的模型。learnable kernel和mixing weight

提高1.1,1.5 BLEU

1 Introduction

Nearest Neighbor Machine Translation 使用k-nearest-neighbour在token级别检索提高MT。

句子级检索不容易找到和测试实例足够相似的实例，这会带来噪音。并且完全的非参数容易对检索到的实例过拟合。尽管KNN-MT提高了领域的翻译能力，但是泛化能力不行。

作者提出了一个可学习的kernel动态的计算当前上下文检索实例的相关性。

然后将实例的权重和模型产生的分布自适应混合权重进行下一个单词预测。

为了让KSTER稳定，作者提出了retrieval dropout strategy。（训练的时候可以检索到相似样本，但在测试inference阶段不同。）

2 Related Word

Domain Adaptation for MT

微调，有个灾难性遗忘问题。（也有一些微调技巧的文章，blog中有），除此之外，还有一些稀疏性领域适应方法，比如只更新部分参数。

Online Adaptation of MT by Non-parametricRetrieval

Non-Parametric Adaptation for Neural Machine Translation 基于句子n-gram相似度检索

token level KNN-MT

实例相似性检索都是基于模糊匹配，或embeding 相似度或二者混合

3 Methodology

3.1 Kernel-Smoothed Machine Translation

Base Model for Neural Machine Translation

Kernel Smoothing with Retrieved Examples

作者对检索的相似样本构建database，由训练数据中所有token level的数据以key-value pairs组成。

k：模型decoder中一层的中间表示

v：对应的ground truth 目标token

k可以看做为v的上下文表示，通过模型decoding来获得k，v

在decoding过程中，我们计算$q_i=f_{NMT}(x,\hat{y}_{<i};\theta)$和k的$L^2$距离$d_j$，每一个检索的样本可以表示一个三元组$（{k_j,v_j,d_j}）$

使用检索的样本计算出如下概率：

K就是kernem function $\sigma$是kernel的参数。

然后将这两个概率分布加权，$\lambda$的计算在下面3.3

3.2 Learnable Kernel Function

作者使用Gaussian kernel 和Laplacian kernel

使用了一个network来估计bandwidth

bandwidth控制分布的平滑程度

3.3 Adaptive Mixing of Base Prediction andRetrieved Examples

Knn-MT可以被看做拥有固定的高斯核和权重的KSTER。

3.4 Training

cross entropy loss between the mixed distribution and ground truth target tokens

3.5 Retrieval Dropout

检索k+1个相似样本，然后丢掉最相似的。

4 Experiments

4.1 Datasets and Implementation Details

WMT14 En-De De-En 4.5M训练数据和 newtest2013验证集 newstest2014测试数据

实施细节：

BPE 30k，共享词表

Transformer最后一个docker block，feed forward的输出用来构建databases和query。

# decoder流程
stl_x = None
for layer in self.layers:
  stl_x = x
  x = layer(x=x, memory=encoder_output,
            src_mask=src_mask, trg_mask=trg_mask)
  #
  c = self.layers[-1].context_representations(stl_x,
                                              memory=encoder_output, src_mask=src_mask, trg_mask=trg_mask)


# 调用的函数
def context_representations(self, x: Tensor = None,
            memory: Tensor = None,
            src_mask: Tensor = None,
            trg_mask: Tensor = None) -> Tensor:
    # decoder/target self-attention
    x_norm = self.x_layer_norm(x)
    h1 = self.trg_trg_att(x_norm, x_norm, x_norm, mask=trg_mask)
    h1 = self.dropout(h1) + x

    # source-target attention
    h1_norm = self.dec_layer_norm(h1)
    h2 = self.src_trg_att(memory, memory, h1_norm, mask=src_mask)

    # final position-wise feed-forward layer
    o = self.feed_forward.layer_norm(self.dropout(h2) + h1)

    return o

使用FAISS做最近邻检索。采用倒排和product quantization来加快检索速度。

以fp16存储降低内容使用。

设置参数k=16来平衡翻译质量和推理速度。

base model 训练了 20万步，5 checkpoints avg，KSTER 30k steps。

batch size 32768

learning rate 0.0002

新增52.6万参数