(资料图片仅供参考)

自然语言模型通常必须解决两个问题：将句子前缀映射到固定大小的表示，并使用这些表示来预测文本中的下一个单词。在最近的一篇论文中，脸书人工智能研究所的研究人员断言，第一个问题——映射问题——可能比预测问题更容易，这是他们基于“最近邻”检索机制扩展语言模型的假设。他们说，人工智能可以记住罕见的模式，并在没有额外训练的情况下获得最新的复杂性分数(衡量词汇和语法多样性)。

正如研究人员所解释的，语言模型为单词序列分配概率，这样他们就可以根据标记(如单词)的上下文序列来估计目标标记的分布(不同可能结果的概率)。该方法将上下文映射到由预先训练的语言模型计算的固定长度的数学表示。给定一个训练示例，定义一个键值对，其中键是上下文的数学表示，值是目标词。

在测试过程中，kNN-LM获取输入上下文，并根据以下单词和上下文表示生成输出分布。它根据距离函数检索最近的邻居，此时，它计算邻居的分布，并总结每个词汇项在检索到的目标中出现的所有概率。

研究人员指出，kNN-LM兼容任何产生固定大小上下文表示的语言模型。在这项研究中，这使我们能够在由1.03亿个基于维基百科文章的令牌组成的数据集上训练基于Transformer的模型，其中25万个令牌保留用于开发和测试。

在实验中，kNN-LM比测试中的基线“明显”更好，团队将其归因于其倾向于学习内隐相似性概念的语境表征功能。KNN-LM增加了一些计算开销——在单个处理器上缓存1.03亿个条目大约需要两个小时，而运行验证集大约需要25分钟。但该团队指出，并行化模型“简单”，不需要基于GPU的训练。