ACL 2019 | 南大NLP，知识库问答中的表示映射学习

背景介绍

知识库问答可以通过结构化知识库，对自然语言问题进行准确回答。目前，知识库问答在搜索，对话领域都起着重要的作用。基于神经网络的知识库问答一般可以分为实体链接和关系检测两个子任务。实体链接可以从问句中得到表示问句主体的词语，关系检测可以从候选关系集合中选择正确表达问句语义的关系。本文主要关注于关系检测子任务。

我们的 Adapter 采用一层线性神经网络将关系表示从通用的表示空间，映射到任务特定的表示空间。通用空间的表示通过一些无监督的算法在知识库层面训练得到，任务特定空间具有的表示通过具体的下游任务训练得到。我们提出的 Adapter 与简单增加网络层数不同的一点在于，我们使用特殊设计的损失函数来优化这一映射，而不是简单的将其作为下游任务网络的一部分进行优化，实验部分我们会比较这一点的。损失函数可以使用任何评价两个表示相似程度的指标。对于基本 Adapter（Basic Adapter） 我们使用均方误差来优化这一映射。我们也提出了使用对抗损失来优化 Adapter 的参数。注意到上述两种方法均只能利用已登录关系的表示，而忽视了未登录关系所具有的有效信息，我们增加一个反向 Adapter 将正向 Adapter 得到的表示映射回通用表示空间。

我们在目前的 SOTA 模型 HR-BiLSTM（Yu et al., 2017）的基础上融合 Adapter ，得到下图所示的模型:

和 (Yu et al.,2017) 类似，我们使用一个问句网络来编码问句，使用关系网络来编码关系，最后使用余弦相似度计算其距离，得到关系检测的结果。与之不同的是，我们在关系的全局表示中加入之前提出的 Adapter，在测试时对于已登录和未登录关系均使用 Adapter 映射后得到的表示。Adapter 的输入我们采用 JointNRE（Han et al., 2018）训练得到的表示，因为他能够将关系和词表示学习到同一空间。

由于 SimpleQuestion 不能很好的评估未登录关系检测，我们重新组织了 SimpleQuestion 的训练，开发，测试集，得到新的数据集 SimpleQuestion-Balance（SQB）。新数据集的开发集和测试集中已登录和未登录关系的比例大致相当。同时，我们也保持了和原有 SimpleQuestion 相同的数据集划分比例。

实验分析

我们的实验在上文提出的SQB数据集，使用微平均（Micro average）和宏平均（Macro average）的精确度（Accuracy） 来分别评价已登录和未登录关系的性能。为了避免偶然性，我们接下来的实验报告了 10 折交叉验证的均值和方差。

可以看出，基线模型（HR-BiLSTM）在已登录关系上达到很高的性能，但是对于未登录关系模型的检测能力很弱。不微调关系表示（第 2 行）可以初步提升模型对于未登录关系检测的性能，仅仅增加一层线性映射（第 3 行）不能很好的提升未登录关系上的性能。这些结果都验证了我们的动机。

在已登录关系上保持和目前最好的模型相当的性能的同时，使用 Adapter 的模型在未登录关系上都实现了极大的提升。这说明我们提出 Adapter 的有效性，使用对抗和重构损失也获得了不同程度的提升，这证实了其有效性。

我们将提出的关系检测模型融入到 KBQA 的框架里，以此来证实提出的方法可以提高知识库问答的性能。实验结果如下表：

可以看出，我们的模型可以显著的提高知识库问答的精度。和之前的结果对比，我们发现确实是关系检测性能的提升导致知识库问答的提升。

我们也考察了模型对于未登录关系错误的选择已登录关系的比例（seen rate），从下表中可以看出，提出的Adapter 可以减弱模型选择已登录关系的趋势，帮助模型在已登录和未登录关系之间进行公平的选择。

最后我们可视化了JointNRE，HR-BILSTM，和 Adapter 生成的关系表示（下图a,b,c）。可以看出 JointNRE 中已登录和未登录关系分布均匀，而HR-Bilstm 会使得已登录和未登录关系之间存在明显的界限，使用 Adapter 得到的表示可以保留这种均匀的分布。我们也注意到图 a 中有一些关系存在明显的聚集现象，这可能由于训练 JointNRE 时，存在一些未被语料覆盖的关系。对此，我们使用提出的 Adapter 从 TransE 表示映射到 JointNRE 表示，进而得到这部分未登录关系的表示，称其为 JointNRE*，使用这一表示训练的基线模型和 Adapter 则为 HR-BiLSTM*和 Final*。其可视化表示为下图的d,e,f。可以看出JointNRE*得到的关系表示更加均匀。从下表也可以看出，该表示训练得到的 Adapter 可以进一步提高 未登录关系上的性能。

南大NLP研究组介绍

南京大学自然语言处理研究组从事自然语言处理领域的研究工作始于20世纪80年代。曾先后承担过该领域的18项国家科技攻关项目、863项目、国家自然科学基金和江苏省自然科学基金以及多项对外合作项目的研制。其中，承担的国家七五科技攻关项目“日汉机译系统研究”获七五国家科技攻关重大成果奖、教委科技进步二等奖以及江苏省科技进步三等奖。

分析理解人类语言是人工智能的重要问题之一，本研究组在自然语言处理的多个方向上做了大量、深入的工作。近年来集中关注文本分析、机器翻译、社交媒体分析推荐、知识问答等多个热点问题，结合统计方法和深度学习方法进行问题建模和求解，取得了丰富的成果。本研究组在自然语言处理顶级国际会议ACL上连续三年发表多篇论文，也在人工智能顶级国际会议IJCAI和AAAI上发表论文多篇，相关系统在机器翻译、中文分词、命名实体识别、情感计算等多个国际国内评测中名列前茅。

本实验室立志于研究和解决在传统文本和互联网资源的分析处理中面临的各项问题和挑战，并积极探索自然语言处理的各种应用。如果你也和我们有共同兴趣或目标，欢迎加入我们！