学术前沿 | 高效隐私计算新范式：神经网络架构与隐私推理协议的协同优化

 导读 

以深度学习为代表的人工智能正广泛应用于各行各业。由于深度神经网络的参数量和计算量巨大，现有深度学习服务往往部署于云端，并依赖用户直接上传明文数据使用，存在严峻的数据泄露隐患。因此，在深度学习推理过程中保护数据和模型隐私至关重要。然而现有的隐私推理方案面临着巨大通信开销，如何有效降低通信量成为了一个亟待解决的问题。

北京大学李萌团队通过协同优化神经网络架构和隐私推理协议，将隐私推理的通信开销降低近4倍，该工作论文 CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference 发表于NeurIPS 2023 。

论文链接：（点击下方阅读原文）

https://arxiv.org/pdf/2311.01737.pdf

01

神经网络架构和隐私推理协议

协同优化的新范式

在该研究中，我们强调隐私推理的预处理和在线阶段的开销同等重要，并提出CoPriv协同优化神经网络架构和隐私推理协议。首先，CoPriv基于Winograd算法优化常用的3x3卷积，并提出了一系列优化方案。对于轻量级移动网络，如MobileNetV2，我们提出可微分ReLU剪枝和网络重参数化技术。相比于现有的研究，我们的工作同时优化了线性层（卷积）和非线性层（ReLU和截断），以同时提高预处理和在线阶段的通信效率。下图展示了完整的协同优化框架，并以ResNet-18和MobileNetV2为例直观展示了各个优化所带来的收益。

CoPriv的神经网络架构与推理协议协同优化框架

推理协议优化

经过分析，卷积的通信开销和乘法的次数正相关，由于总通信量被卷积中的乘法所主导，我们的核心思路是降低乘法的总次数，并以计算更多的本地加法为代价（本地加法在安全多方计算中无需通信）来降低总通信开销。

优化1：块聚集技术（Tile Aggregation）

我们发现，虽然Winograd变换帮助降低了乘法次数，但是原本的逐元素乘法（EWMM）无法利用隐私计算中基于不经意传输协议的矩阵乘法批优化（Batch Optimizatin），带来了昂贵的开销。因此，我们提出块聚集技术将EWMM转化为通用矩阵乘法（GEMM）的形式，以降低通信开销。卷积协议和计算流程如下图所示：

带块聚集优化的Winograd变换卷积计算流程

优化2：自适应卷积技术（Adaptive Convolution）

在执行卷积协议时，服务器和客户端都可以（作为不经意传输的发送方）启动协议。由于输入特征图和滤波器的维度不同，我们观察到启动方的选择会影响通信轮数和通信复杂度。CrypTFlow2总是选择服务器来启动协议，而我们提出的神经网络架构感知卷积协议则根据层的维度在服务器和客户端之间进行自适应的选择，以最大限度地降低通信复杂度。

结合以上提出的两个优化方案，协议的通信复杂度分析如下所示：

不同卷积操作的通信复杂度分析

神经网络架构优化

本文的核心思想是同时移除MobileNetV2翻转残差块中的两个ReLU之后，整个残差块就可以被融合为单个卷积层，然后再通过基于Winograd变换的协议进一步优化。

问题1：如何移除ReLU？

为了识别“不重要的”非线性激活函数（ReLU），我们提出通信感知的可微分ReLU剪枝算法。CoPriv给每一个ReLU分配一个架构参数α以衡量ReLU的重要度。在剪枝过程中，每个激活函数遵循以下计算：

，CoPriv同时优化模型权重参数Θ和架构参数α。为了使CoPriv的剪枝关注到通信量较大的层，我们定义了如下带通信感知正则项的损失函数：

为了保证整个翻转残差块可以进一步融合，我们在剪枝过程中让两个ReLU共享同一个架构参数，剪枝ReLU过程如下图所示：

ReLU剪枝算法过程

问题2：如何融合残差块？

网络（结构）重参数化是一种加速神经网络推理的优化技术，其核心思想是解耦训练时的网络架构和推理时的网络架构，并保证两种架构完全等价（即可以通过参数的融合实现）。从而使网络在训练时具有较高的性能，在推理时同时具有较高的性能和较高的效率。

对于CoPriv，去除“不重要的”ReLU后，翻转残差块就变成了线性结构，从而可以通过网络重参数化，进一步将Point-wise卷积和Depth-wise卷积融合成单个卷积层，重参数化过程如下图所示：

网络重参数化算法过程

02

主要实验结果

如下图所示，我们在CIFAR-100和ImageNet两个数据集上进行了实验，结果表明CoPriv在准确率和在线/总通信量方面均优于基准方法，并且现有的ReLU优化工作，如DeepReDuce、SNL、SENet，无法有效降低总体通信开销。

CIFAR-100数据集上的实验结果

ImageNet数据集上的实验结果

此外，我们对CoPriv的不同优化技术进行了消融实验，下图中的结果表明我们提出的ReLU剪枝、网络重参数化、Winograd卷积协议都对隐私推理效率有所帮助。

对CoPriv中各个优化技术的消融实验

03

作者介绍

本次研究的通讯作者李萌是北京大学人工智能研究院和集成电路学院助理教授、博士生导师。

李萌于2022年加入人工智能研究院和集成电路学院。在2018年到2022年间，李萌老师在全球最大的互联网社交媒体公司Meta的虚拟现实和增强现实实验室任Staff研究科学家，主导增强现实产品中的深度学习加速和软硬件协同设计、优化算法研究。李萌老师的研究兴趣包括高效、安全的多模态人工智能加速算法和系统。研究成果发表于国际知名期刊和会议，包括DAC、ICCAD、ICML、NeurIPS、ICCV等，谷歌学术引用4500余次。

论文的第一作者曾文轩，现为北京大学研究生，研究兴趣包括高效人工智能和隐私保护深度学习。

►►►

研究背后的故事-

与曾文轩同学的对话

对研究的思考方式逐渐系统化是他在这项研究中最大的收获。在研究过程中，不仅要脚踏实地、埋头苦干，还要学会有意识地跳出细节，站在一个更宏观的视角去审视自己的研究，比如：我们解决了什么关键问题？主要动机是什么？核心观察是什么？到底是什么因素让我们的研究优于别人？在这次的研究中，他逐渐体会到对这些问题的深入思考，才是支撑起一篇文章的核心。同时，他体会到写作的好坏直接影响到这些思考能否体现，因此这项工作也让他学到如何让写作的内容更条理化和系统化。

曾文轩同学还体会到迈入科研门槛最重要的因素是行动力，他提到了一句令他印象深刻的话：“Talk is cheap, show me the code”。如果没有行动，再好的想法都会落空，在科研领域更是如此，即便我们知道前方困难重重，也要尽可能避免拖延，先让自己动起来再说。在行动和探索的过程中，可能会挖掘到更多有意义的东西。学习基础和开展研究都是这样，行动力往往决定我们往前迈了多远。他在工程和写作两方面投入了最大精力，他认为：对于工程，要懂得“Make your hands dirty”，也就是避免空想，勤于动手。对于写作，他认为最重要的是积累和反思，并在写作中让自己的思考方式更加系统化。

—   往期发布  —

点击图片查看原文

点击图片查看原文

点击图片查看原文

—   版权声明  —

本微信公众号所有内容，由北京大学人工智能研究院微信自身创作、收集的文字、图片和音视频资料，版权属北京大学人工智能研究院微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿在本号刊登内容，请及时通知本号，予以删除。