👆🏻点击视频，图文并茂地了解本文

面向商家，淘宝颁布了《淘宝儿童类商品行业规范》，明确严厉禁止涉及未成年人的违法不良信息，包括但不仅限于儿童服饰、玩具和儿童影像、照片等，范围覆盖商品标题、商品文字描述、商品图片和商品评价等内容。同时，淘宝上线儿童类商品发布合规提醒功能，后台会明显提示“请您发布儿童商品时，参照《淘宝儿童类商品行业规范》进行发布，否则可能有下架/删除/扣分等处罚风险”，并建议儿童服饰类商家尽可能减少使用真人模特，避免贴身衣物聚焦敏感部位等问题。

在完善制度建设和提升商家合规意识的基础上，淘宝进一步发挥在技术能力上的资源和优势，针对儿童类商品内容风险的特点，在文本和图片维度开展了一系列技术能力建设。

不良商家往往会对发布的文本内容添加精心构造的对抗扰动，例如“学生专属 -> 學鉎專屬”，试图绕过线上识别系统的拦截。深度神经网络的固有脆弱性导致其在对抗攻击下给出错误的识别结果；人脑做信息理解时会综合语义、视觉和声音等多个模态的特征，因此这种只在文本维度构造的对抗攻击往往不会影响人的阅读理解。

受此启发，淘宝提出了基于多模态词嵌入的文本对抗防御技术，通过语义嵌入、字形嵌入和字音嵌入分别提取文本的语义、视觉、读音三个模态的特征，然后通过多模态融合技术对齐和融合三个模态的特征以形成语义丰富的鲁棒表征，可以有效增强模型针对文本对抗风险的鲁棒性。

2）领域知识图谱

青少年经常创造一些新的语义符号，成为自身群体的专属语言，例如“cpdd -> 找人组CP有意请联系我”。如果不具备这些背景知识，面对青少年群体中的特定文本，成年人很难理解其中蕴含的真实意义，无法识别风险；模型也是如此。因此，我们首先需要搜集青少年群体常用的符号、代称、特定语义等，建立相互之间的联系，并与正常语言做映射，构造青少年语义知识图谱；然后在识别模型的设计上，把输入分为上下文和知识点两部分，模型分别提取文本和知识的表征，实现结构化知识和无结构文本之间的信息共享，借助先验知识加强模型对输入的语义理解，提升识别能力。

《淘宝儿童类商品行业规范》针对图片定义了明确的风险类型和详细的认定标准，例如在某些服装下的特定姿态、聚焦部位等，这给识别模型带来了多标签、易混淆的挑战。传统的粗粒度分类已经无法满足要求，需要模型输出更细粒度的标签对内容进行管控。在细粒度图像识别领域，区域注意力的定位和放大是一个核心难题。

我们提出了多尺度循环注意力的Transformer（RAMS-Trans），具体框架如下图所示。它利用Transformer的自注意力机制，以多尺度的方式循环地学习判别性区域注意力。方法的核心在于动态图像块建议模块（DPPM）引导区域放大，完成多尺度图像子区域的整合。

DPPM从全尺寸图像区域开始，通过每个尺度下产生注意力权重强度作为指标，迭代放大区域注意力，生成从全局到局部的新图像块。该方法在多个公开数据集上均取得了目前最好的效果，相关成果形成论文《RAMS-Trans: Recurrent Attention Multi-scale Transformer forFine-grained Image Recognition》被ACM Multimedia 2021接收。

4）单域多模态识别技术

单域多模态指图片内容场景中的信息多模态，例如图片上加入文字信息，在商品图片和商品评价场景中广泛存在。这种情况下，针对单一图像维度往往难以明确识别风险，需要模型综合多个维度的信息来判断。目前多模态研究工作主要集中在不同模态信息的融合位置上，比较典型的如早期融合和晚期融合。

我们发现对于不同的样本，其对应的图片重要性以及文本重要性是不同的，因此需要根据不同样本模态信息的重要性来动态选择权重进行多专家融合，从而达到更优的性能。我们设计了两个路由机制分别接受文字和图片信息，根据模态信息的数据分布确定其重要性。通过重要性融合产生参数来指导动态网络进行融合。路由机制可以选择性使用，因此兼容了多模态和单模态的任务。