7篇NeurIPS论文公开分享,阿里清华邀你共话AI安全!

Original AAIG 阿里巴巴人工智能治理研究中心 2023-11-28

收录于合集 #追AI的人 80个

阿里巴巴和清华大学联合主办的NeurIPS 2022 AI安全论文分享会，将在2022年11月30日14:00-18:00举办，七个分享，线上全程直播！

以围绕更加安全可靠的智能技术为主题，分享在NeurIPS中包括对抗学习、贝叶斯深度学习、异常检测、鲁棒评估、噪声学习、鲁棒动态图学习、偏微分方程求解等方向上发表的一些论文工作。

期待通过业界的积极分享和共同努力，带动技术转化，并以真实需求促进技术研发，在技术创新的同时，推动该技术的良性健康发展。

分享背景：《追AI的人》是一档由阿里巴巴人工智能治理与可持续发展研究中心(AAIG)联合高校和产业界发起的AI治理交互栏目。重点关注并分享人工智能新技术、AI治理新观点、可持续发展新风向。2022 NeurIPS大会，特设【AI专场】。

论文情况：今年NeurIPS共交到10411篇论文，2672篇被录用，最终接收率为25.6%，本次将分享其中7篇。

直播时间：2022年11月30日14:00-18:00

直播地址：微信视频号“阿里巴巴AI治理中心”，b站搜“AAIG课代表”

议题一

Enhance the Visual Representation via Discrete Adversarial Training

论文链接：http://arxiv.org/abs/2209.07735

讲师简介：毛潇锋，阿里巴巴人工智能治理与可持续发展研究中心 (AAIG) 算法工程师，毕业于哈尔滨工程大学计算机系，在AAIG负责计算机视觉领域的模型安全和对抗攻防技术研究和落地。曾在CVPR，NeurIPS，AAAI，MM，ICASSP，TIP等会议及期刊上发表多篇论文。主要研究兴趣为图像识别，对抗机器学习，模型鲁棒性等。

论文概述：对抗训练目前最有效的获得鲁棒模型的方法之一，但是对抗训练最大的缺点就是会影响正常样本的识别性能，这导致了对抗训练在工业界无法广泛使用。令人惊讶的是，这种现象在自然语言处理领域中没有出现，对抗训练甚至可以从提升NLP模型的泛化性。

我们注意到对抗训练在NLP领域和图像领域上的不同点在于NLP领域的输入空间是离散的符号空间。通过借鉴NLP上对抗训练的优势，我们提出了离散对抗训练 (DAT)。DAT利用 VQGAN将图像连续空间的输入编码到类似文本的离散输入，即视觉词。然后，通过对离散空间进行对抗扰动，最终形成离散化的对抗训练。我们进一步从数据分布的角度进行解释 DAT的有效性。

此外，作为一种增强视觉表示的即插即用技术，DAT在包括图像分类、目标检测和自监督学习等多个任务上都进行了验证，并且都有显著提升。特别地，当DAT与Masked Auto-Encoding (MAE) 预训练模型结合进行微调，在无需额外数据等情况下，在ImageNet-C上获得31.40 mCE，在Stylized-ImageNet 上获得 32.77% 的 top-1准确率，构建了新的SOTA。

议题二

Accelerated Linearized Laplace Approximation for Bayesian Deep Learning

论文链接:

https://thudzj.github.io/ella/paper.pdf

讲师简介：邓志杰，是上海交通大学清源研究院助理教授。他的主要研究方向为概率建模和深度学习。他已在ICML、NeurIPS、ICLR、CVPR、ICCV、JMLR等高水平会议和期刊上发表学术论文十余篇。多次担任ICML、NeurIPS、ICLR、CVPR、ICCV等顶级国际会议和期刊的审稿人。

论文概述: 拉普拉斯近似 (Laplace approximation, LA) 及其线性化变体 (linearized LA, LLA) 可以轻松地将预训练的深度神经网络转化为贝叶斯神经网络。现有方法通常引入广义高斯-牛顿 (generalized Gauss-Newton, GGN) 近似来提高可行性。

然而，LA和LLA仍然面临着非平凡的低效问题，在实际使用中常依赖对于GGN矩阵的Kronecker-factored、对角的、甚至last-layer近似。这些近似很可能损害学习结果的保真度。为了解决这个问题，受LLA和神经内切内核(neural tangent kernels, NTKs)之间联系所启发，我们开发了可以加速LLA的Nyström近似方法。

我们的方法受益于主流深度学习库中所实现的前向模式自动微分功能，并享有对于近似误差的理论保证。广泛的实验反映了所提方法在可扩展性和性能方面的优势。我们的方法甚至可以处理像vision transformer这样的模型。代码见https://github.com/thudzj/ELLA。

议题三

Boosting OOD detection with typical features

论文链接：https://arxiv.org/abs/2210.04200

讲师简介：朱尧，浙江大学电子信息技术及仪器专业博士生，阿里巴巴人工智能治理与可持续发展研究中心 (AAIG) 研究型实习生，主要研究方向为计算机视觉领域的模型可解释性和对抗攻防技术研究。曾在ICCV，NeurIPS，ICLR，TIP等会议及期刊上发表多篇论文。

论文概述：分布外 (OOD) 检测是确保深度神经网络在实际场景中的可靠性和安全性的关键任务。不同于以往大多数OOD检测方法侧重于设计OOD score或引入各种异常值样本进行重新训练模型，我们从典型性的角度深入研究OOD检测中的关键因素，并将深度模型的高概率区域的特征视为该特征的典型集。

我们提出了将原始特征校正为典型特征，并用典型特征计算 OOD 分数，以实现可靠的不确定性估计。特征校正可以作为一个即插即用的模块，应用到各种OOD score方法中。我们评估了我们的方法在常用基准（CIFAR）和更具挑战性的基准（ImageNet）上的优越性。值得注意的是，我们的方法在 ImageNet 基准测试的平均 FPR95 中优于最先进的方法高达 5.11%。

议题四

Evaluating the Robustness of Visual Recognition to Adversarial Viewpoints

论文简介：计算机视觉模型在数据分布发生偏移时鲁棒性较差。已有工作主要研究模型对2D图像变换的鲁棒性，而较少探索3D世界中的视角变化，然而其在自动驾驶等应用中十分普遍。

讲师简介：董胤蓬，清华大学计算机系博士后研究员，导师为朱军教授，RealAI算法科学家。于2017年和2022年在清华大学计算机系分别获得学士和博士学位。主要研究方向为机器学习与计算机视觉，聚焦深度学习鲁棒性的研究，先后发表TPAMI、IJCV、CVPR、NeurIPS等顶级国际期刊和会议论文三十余篇。

本文提出了ViewFool方法寻找误导视觉识别模型的对抗视角。通过将现实世界中的物体编码为神经辐射场 (NeRF)，ViewFool可以在熵正则项的约束下学习对抗视角的分布，有助于处理真实相机姿态的波动并减轻真实物体与其神经表示之间的差异。基于ViewFool，本文构建了视角OOD数据集ImageNet-V，用于对图像分类器的视角鲁棒性进行基准测试。实验结果表明，40余种具有不同架构、目标函数和数据增强的分类器在ImageNet-V上的性能出现显著下降。

议题五

Confidence-based Reliable Learning under Dual Noises

个人简介：崔鹏，清华大学计算机系博士生，主要研究方向为深度学习的不确定性量化与校准、贝叶斯深度学习。曾在NeurIPS上发表多篇论文。

论文简介：尽管深度神经网络 (DNN) 已经在各种计算机视觉任务中取得了显著成功，但是对于模型优化通常需要大量良好标记的图像。然而，在现实世界中收集的数据不可避免地会受到各种噪声的影响，这样的数据往往会严重损害模型的性能。以前，已经有许多工作尝试如何在带躁数据的背景下可靠地训练神经网络，但是之前的工作一般只考虑标签噪声（noisy label）。

我们在这项工作中研究了如何在图像、标签的联合噪声下的训练一个可靠的神经网络。具体而言，我们提出了基于置信度的样本过滤器来逐步检测噪声数据。接着，我们提出了基于神经网络不确定性的学习机制，即惩罚检测到的噪声数据的模型不确定性（model uncertainty），通过这种训练方式使得神经网络不会过拟合到噪声数据而损害模型性能。一系列实验表明，我们提出的方法在各种具有挑战性的噪声数据集上表现良好，所提出的方法在图像分类性能上优于以前的基线模型。

议题六

A Unified Hard-Constraint Framework

for Solving Geometrically Complex PDEs

个人简介：刘松铭，清华大学计算机科学与技术系在读本科生，曾获两次国家奖学金、商汤奖学金、美国数学建模竞赛Finalist、第五届“龙芯杯”大学生计算机系统能力培养大赛总决赛特等奖等荣誉。研究方向为AI for Science，利用物理信息机器学习方法解决结构优化、物理定律发现等问题。目前已在NeurIPS上发表一篇文章（第一作者）。

论文简介：我们提出了一个统一的硬约束框架，用于通过神经网络求解几何复杂的PDE。在前人工作的基础上，我们将硬约束框架拓展到了最常用的三类边界条件：Dirichlet、Neumann 和 Robin 边界条件。具体来说，我们首先从混合有限元方法中引入“额外场”技术重写偏微分方程，从而将三种类型的边界条件统一等价转换为线性形式。

在此基础上，我们解析地导出了边界条件的通解，用于构建能自动满足边界条件的假设集。训练这样的假设集时，我们不必将边界条件对应的残差加入损失函数，从而更高效地求解几何复杂的PDE，减轻PDE和边界条件对应的损失函数项之间的不平衡竞争。此外，我们从理论上说明“额外场”技术可以稳定训练过程。我们选取了燃料电池组、飞机机翼等具有现实意义的几何复杂PDE的例子测试我们的方法。实验结果表明我们的方法取得了SOTA效果。

议题七

Dynamic Graph Neural Networks Under Spatio-Temporal Distribution Shift

讲师简介：秦州，阿里巴巴人工智能治理与可持续发展研究中心 (AAIG) 算法工程师，毕业于康奈尔大学计算机系，在AAIG参与图计算和文本对抗变异的研究和落地。曾在NeurIPS，CIKM等会议上发表多篇论文，并获得CIKM最佳应用论文奖。曾作为核心开发人员参与阿里集团重点开源图计算框架Graph-Learn。著有《机器学习公式详解》一书。

论文简介：动态图神经网络（DyGNNs）通过利用图的结构和时间动态表现出强大的预测能力。然而，现有的动态图神经网络难以处理动态图中自然存在的分布变化。在本文中，我们提出通过发现和利用不变模式（invariant pattern），即发现预测能力稳定的结构和特征来应对动态图中的时空分布变化，这面临着两个关键的挑战。

1）如何区分动态图中变化模式（variant pattern）和不变模式（invariant pattern），这涉及到深入挖掘随时间变化的图结构和节点特征。

2）如何用发现的两种模式处理时空分布的转变。为了解决这些挑战，我们提出了基于Disentangled Intervention的动态图注意网络（DIDA）。

我们提出的方法通过发现和充分利用不变的时空模式，可以有效地处理动态图的时空分布转移。

● AAIG成立一周年!砥砺前行,谱写新时代的科技之歌~请查收这份最新的自我介绍

● AI治理必修第17刊|Meta开发出首个无文字语言AI翻译系统,闽南语翻译安排上!人工智能是否需要神经科学?

● 听委员说｜AAIG薛晖出席杭州市"两会",提出加快建立人工智能产业的多元协同治理机制

● 文本如药?如何通过多样例学习判断有效成分?如何识别辱骂文本?对话质量分析应用场景?AAIG自然语言理解实验室EMNLP专场(上)

● “算法偏见”是概念炒作吗?「这个AI不太冷」第3期带你揭秘现实AI!

更多人工智能治理和可持续发展好文
点击下方名片关注和星标【阿里巴巴人工智能治理与可持续发展研究中心】

👇AAIG课代表，获取最新动态就找她