ACL | 自然语言处理(NLP)之多轮对话建模优化(Utterance ReWriter)
点击箭头处“蓝色字”,关注我们哦!!
引言
最近2019年新鲜的ACL论文出来了,发现了一篇关于多轮对话模型的文章还不错,其题目为:Improving Multi-turn Dialogue Modelling with Utterance ReWriter。文章单位:微信人工智能模式识别中心(腾讯)。文章的背景为:当前我们在日常多轮交流的时候,经常会出现前后相互参照和信息遗漏的问题,这对于人来说能够正确的理解出说话人的意图,但是对于机器来说,这是比较困难的。为此该篇文章提出了:为提高多轮会话模型水平,将重写人类的话语作为其一个预处理过程。
声明:由于微信平台不支持Markdown编辑模式,公式支持不够好,所有作者在编辑的时候实在是不能把公式加到段落中,只能截图给大家了,对此感到非常抱歉。
1
文章概述
2
数据集介绍
3
模型介绍
4
实验结果
5
参考文献
正文开始
1文章概述 当前对话系统中,对于单轮对话的模型建模来说已经相对比较成熟一点,但是对于多轮对话来说仍然具有比较大的挑战。其最大的挑战就是在多轮对话中存在共指关系和信息缺失。如下图所示:
为了获得句子改写器模型的并行训练数据,我们从几个流行的中国社交媒体平台上抓取了200k个候选的多轮会话数据,供标注者使用。敏感信息会预先过滤,以便以后处理。在开始标注之前,我们随机抽取了2000个会话数据,并分析了多轮对话中出现共引用和省略的频率。
3.1 问题定义
3.2 编码器
3.3 解码器
解码器也包含L层,每层由三个子层组成。第一个子层是多头self-attention:
3.4 输出分布
我们训练我们的模型在收集的数据集上执行话语重写任务。在本节中,我们将重点回答以下两个问题:(1)您所提出的模型分别能在多大程度上准确地执行共参照解析和信息补全;(2)训练有素的话语改写者在帮助离线对话系统提供更合适的回答方面有多出色。为了回答第一个问题,我们将我们的模型与几个强基线进行比较,并通过自动评估和人工判断对它们进行测试。对于第二个问题,我们整合了我们的两个在线对话系统模型,并分析了它是如何影响人机交互的。下面的部分将首先介绍比较的模型和基本设置,然后报告我们的评估结果。
实验结果我看了一下,主要是针对论文主审的问题进行做的实验,这里我就不多说了。有兴趣的同学可以下载原文看一下。
原文地址:https://github.com/yinizhilian/ACL_Paper
[1]]Nikola Mrkˇ si´c, Diarmuid ´O S´eaghdha, Tsung-Hsien Wen, Blaise Thomson, and Steve Young. 2017. Neural belief tracker: Data-driven dialogue state tracking. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1777–1788. .
Y
i
关注精彩内容
要先点击这里哦
N
i
来都来了,点个【好看】再走吧~~~