将SimCLR应用于NLP预训练模型，提升句子语义表征效果
动机
近两年，对比学习（Contrastive Learning）由于能够通过数据之间的关系，以无监督的形式充分学习数据的表征受到了大家的广泛关注，特别是 MoCo ,SimCLR 的方法的提出。而对比学习的一个关键思想就是如何构建对比的数据对，更细致的，如何构建正样本和负样本，更好的正样本和负样本能够帮助模型更好的理解数据。
因此，可以发现对比学习在 CV 领域首先有了效果，针对对比学习，图像可以通过旋转，裁剪，变换颜色等方法在不改变便签的情况下进行数据增强。但在 NLP 领域就出现困难了，文本数据如何进行增强，单纯的删除或者修改词及词序都会引起语义的变化。
方法
Word deletion：即随机删除句子中的某些词，并将这些词使用 [DEL] 进行替换 Span deletion：从 span-level 进行选择和删除，并使用 [DEL] 进行替换，可以认为这种方法是 Word deletion 的一个特例 Reordering：随机从句子中采样出几对词，然后替换他们彼此的位置（已在 BART 中证实有效） Substitution：随机从句子中选择一些词，然后将其替换为这些词的同义词（使用了一个同义词词典）
直观上理解，方法 1 和方法 2 可能会改变原有句子的意思，作者认为，随机删除一部分句子内容不会对句子的原始语义造成太大的影响。当然，在一些情况下，可能会改变句子的原始语义（例如把 not 删掉了），但这部分可以认为是适当的噪声，这有助于提升模型的鲁棒性。
实验
总结
本文非常巧妙地将应用在 CV 上的 SimCLR 框架直接应用到了 NLP 中的预训练模型中，具体作者考虑四种不同的数据增强方法。对现阶段的 NLP 领域的对比学习是一个很不错的参考。
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
📬 投稿邮箱：
• 投稿邮箱：hr@paperweekly.site
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。