查看原文
其他

ACL 2023 | 对话场景中的方面级情感分析任务、数据与方法

李波波、费豪等 PaperWeekly 2023-09-02


论文题目:
DiaASQ:面向对话场景下方面级情感四元组分析的新任务

DiaASQ : A Benchmark of Conversational Aspect-based Sentiment Quadruple Analysis

论文作者:

李波波¹,费豪²,李霏¹,吴雨晗¹,张津菘¹,吴胜琼²,李京烨¹,柳宜江¹,廖黎姿³,Tat-Seng Chua²,姬东鸿¹

作者单位:

武汉大学¹,新加坡国立大学²,新加坡管理大学³

收录会议:

ACL 2023, Findings

项目主页:

https://conasq.pages.dev/

代码和数据:

https://github.com/unikcc/DiaASQ

论文链接:

https://arxiv.org/abs/2211.05705


一句话概括本工作:本研究首次提出了对话场景下的方面级情感四元组分析任务,并标注了包含中英文双语的大规模数据集,并提供了一个基于词对关系建模的基线模型,从而填补了对话场景下观点挖掘和细粒度情感分析的空白,也为情感分析领域的研究提出了新的挑战。




动机介绍


1.1 方面级情感分析任务(ABSA)背景


情感分析可以赋予机器理解人类情感的能力,是自然语言处理中一个重要的研究任务。近年来,针对特定方面进行细粒度情感分析的任务,也就是所谓的方面级情感分析(Aspect-based Sentiment Analysis,ABSA),越来越受到研究者关注。


最初的 ABSA 研究主要围绕着方面词(Aspect term)和情感极性(Polarity)的抽取展开;随后的研究则开始关注观点词(Opinion),诞生了如方面-观点二元组抽取、方面-观点-极性三元组抽取等任务;在最新的 ASBA 研究中,研究者们在三元组中添加了方面的类别(Category),从而形成了四元组抽取任务。这种四元组抽取任务抽取的元素最为全面,有助于更深度的理解方面级情感。


1.2 当前ABSA任务的不足


然而,我们注意到,现有的 ABSA 研究主要针对单一的文本片段进行。例如,大多数 ABSA 任务的数据基于 SemEval 语料库进行标注,而该语料的内容主要是孤立的句子,这无疑限制了 ABSA的应用范围。在现实世界中,对话场景下的 ABSA 有着巨大的应用潜力。如在社交媒体上,人们讨论产品、服务或政治等话题时,如果能有效运用 ABSA 技术,我们将能够深入理解和分析人们的情感和观点。然而,遗憾的是,对话场景下的 ABSA 分析还未得到足够的重视。


1.3 对话场景下的ABSA任务


▲ 图1 对话场景中的方面级情感四元组示例


为了解决这个问题,受到先前的 ABSA 四元组研究的启发,我们在本文中提出了一种全新的任务——对话场景下的情感四元组分析,简称为 DiaASQ。在这项任务中,我们以多人对话为分析对象,目标是识别和解析出对话中蕴含的情感四元组,即分析对于特定目标的特定方面所提出的观点,及其相应的情感极性。


例如,如图 1 所示,我们的目标是从对话中抽取出类似于('Xiaomi 11', 'WiFi module', 'bad design', 'negative'),('Xiaomi 11', 'battery life', ‘not well', 'negative')和('Xiaomi 6', 'screen quality', 'very nice', 'positive')这样的四元组。




任务与数据标注


具体来说,我们的任务定义如下:


  • 输入:一组对话 。其中 代表说话者编号 表句子, 代表具体的单词, 代表第 个句子回复的是第 个句子。
  • 输出:四元组集 其中 分别代表目标、方面、观点和情感极性, 分别是原文中连续的 span 片段 一个类别。
  • 评价指标:我们以四元组和前三个元素组成的三元组的 F1 得分作为我们的评价指标,分别记为 Micro-F1 和 Iden-F1。

▲ 图2 原始数据获取和清洗流程


为了构建任务基准,我们人工标注了一个大规模的 DaiASQ 数据集。首先,我们收集了数百万条新浪微博上关于数码产品的评价,清洗数据后将评价构建为对话树,整体流程如图 2 所示。然后,我们雇佣了训练有素的标注者在清洗后的数据之上进行 DiaASQ 数据集的众包标注。最后,为了提升任务基准的多语言性,我们将数据和标注结果翻译并投射为英文版本。中英文的标注数据的统计结果如表 1 所示:

▲ 表1 标注数据统计结果


数据统计显示,每个数据包含 7452 句子的 1000 条对话的 DiaASQ 数据。平均每组对话涉及 5 个说话者,约 22% 的对话四元组存在跨句子的情形。例如:图1中(‘Xiaomi 6’, ‘screen quality’,’very nice’, positive)就属于跨句子的四元组。这种跨句子的情形抽取难度较大。




抽取模型


▲ 图3 模型框架


与传统的 ABSA 任务相比,DiaASQ 面临两大挑战。首先,DiaASQ 涉及到三个元素的抽取和一个元素的分类。如果我们尝试枚举所有可能的组合来进行四元组的抽取,那么任务的复杂度可能会迅速增加。其次,一个四元组的元素可能分布在不同的对话句子中。因此,我们需要在充分理解话语结构的基础上进行抽取,这使得对话内的四元组抽取比句子内的抽取难度更大。


为了应对这些挑战,我们提出了一个端到端的框架来进行 DiaASQ 的抽取。如图 3 所示,我们的抽取过程主要包含四个步骤:


  • 首先,在编码过程中,使用预训练语言模型编码原始对话文本。
  • 然后,在话语对之间加入多视图交互机制,提升来自同一说话者、来自同一线程和具有回复关系的话语对之间的交互作用,从而强化对话结构信息的利用。
  • 同时,引入了旋转位置编码(RoPE)来强化 token pair 之间的相对位置信息。
  • 最后,设计了新的网格编码机制,将原始的四元组映射为三个不同的 token pair 关系矩阵,通过拟合和预测关系矩阵的标签来编码和解码 DiaASQ 四元组。




实验结果


为了验证模型的效果,我们对中英文两个数据集进行了实验。由于没有可以直接应用于 DiaASQ 任务的基线模型,我们选择了一些专门针对句子级 ABSA 任务的模型,对它们进行了改造以适应我们新任务(详情见表 2)。除了关注四元组的抽取效果,我们还对 Span 抽取和 Pair 抽取的效果进行了评估。


▲ 表2 实验结果


观察表 2 所示的实验结果,我们有如下几个发现:


  • 在 span 抽取方面,基线模型和我们模型的效果差别不大,这是因为识别基本的目标、方面和观点识别是一个比较成熟的任务。
  • 在 Pair 抽取方面,我们的模型在两个数据集的大多数指标都比 baseline 提升 5 个百分点以上,说明我们的模型在对话中的情感信息挖掘方面比 baseline 更具优势。
  • 在四元组抽取方面,我们的模型展示了绝对的领先优势,在两个数据集的两个指标上分别至少提高 6 个百分点,证明了我们设计的模型在 DiaASQ 任务上的良好效果。


▲ 表3 消融实验


▲ 图4 消融实验


进一步的消融实验表明,我们引入的多视图交互和 RoPE 相对位置编码机制在跨句子四元组的抽取过程中起到了很大的帮助。其中,RoPE 在处理跨度为 1 的四元组的抽取方面表现出了明显的优势,而多视图交互在四元组跨度更大的情况下仍然表现出了出色的效果。




结论


在本篇文章中,我们介绍了一个新的任务,即对话场景下的方面级情感四元组抽取任务(DiaASQ)。该任务的目标是从对话文本中抽取出(目标、方面、观点、情感极性)这四个关键元素,从而填补了对话场景下的观点挖掘和细粒度情感分析的研究空白。我们为该任务标注了一个包含 1000 组对话的大规模、高质量的双语数据集。为了解决 DiaASQ 任务中的挑战,我们设计并实现了一个端到端的抽取模型。


实验结果证明,我们的模型不仅在四元组抽取方面表现出色,而且在理解对话特征和分析跨句子四元组方面也有一定优势。尽管如此,我们的模型在四元组抽取上的绝对分数依然偏低,说明了该任务仍然具有很大挑战性。




未来展望


最后,我们认为未来的工作可以考虑从以下几个方面进行深入研究,以提升 DiaASQ 任务中模型的性能:


  • 进一步探索如何利用句法、语义信息,以及树状、图状的话语结构信息等,来丰富我们的模型和改善其表现。

  • 引入代消解机制:通过引入指代消解机制,我们可以有效解决跨句子四元组的抽取问题,从而进一步提升模型的表现。

  • 引入外部情感知识:基于以往针对 ABSA 任务的经验,我们认为引入外部情感知识库可以有效提升模型在 DiaASQ 任务上的效果。


更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·
·

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存