ICML 2021 Long Oral | 顺序不可知的交叉熵函数
为了解决由于次序忽略带来的问题，文中提出了使用交叉熵损失 pretrain 模型再使用 OAXE finetune 以及对 confidence 较小的预测进行截断两种正则化的策略，极大的提高了翻译的性能。
Methodology
那么我们将传统的交叉熵损失写为：
本文提出的 loss 其实很简单：
Training
2.1 Avoiding Invalid Orderings via XE Initialization
我们先使用 XE loss 训练一个模型，然后使用 OAXE 进行微调，这样 XE loss 其实已经学到了不错的词序信息。 第二种方法是将 XE 和 OAXE 根据一个加权因子进行结合，这个权重随着时间变化逐渐趋于 0。
2.2 Dropping Invalid Predictions via Loss Truncation
Experiments
3.3 Raw Data
上面说到了，现在 NAT 都采用了句子级别的 distillation 来减少训练数据的多样性，从而提升模型的性能。在 raw data 上，OAXE 带来了更大的提升，即使使用raw data，其也比 cmlm 强。
Conclusion
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。