本地化与中心化差分隐私及其在联邦学习中的使用
本文来源 SecurityLabUJN，由济南大学信息科学与工程学院2022级硕士研究生田洋总结。
背景
联邦学习(FL)允许多个参与者通过将数据集保持在本地的同时，仅交换模型更新来协作训练机器学习模型。然而，在这过程中可能会有隐私和鲁棒性的漏洞，例如，成员推断攻击、属性推理攻击以及后门攻击。本文研究了能否以及在何种程度上可以使用差分隐私(DP)来保护 FL 中的隐私和鲁棒性。为此，本文首次对 FL 中的本地和中央差分隐私(LDP/CDP)技术进行评估，评估其可行性和有效性。
预备知识
2.1 Federated Learning
联邦学习是一种分布式机器学习架构，由中心服务器、参与方 Pi 及用户构成。与传统的集中式方法不同，数据不集中在中央服务器上；而是参与者在本地训练模型并与服务器交换更新的参数，服务器将它们汇总并发送给参与者。其中，参与方各自持有本地数据集Di，参与方无需进行数据共享，而是通过协作的方式训练在全局数据集上
根据参与方数量的多寡与算力的强弱，联邦学习可分为cross-device和cross-silo两类。cross-silo联邦学习中参与方往往为大型组织（如医疗机构、金融机构等），数量较少但算力较强；cross-device联邦学习中参与方往往是大量的移动或物联网设备，数量庞大且算力较弱，在该场景下，不是每一个参与方都有机会参与每一轮训练，通常利用采样的方式确定哪些用户可以参与训练过程。
2.2 Differential Privacy
差分隐私针对恶意方通过随机算法的输出所推断出的信息提供统计保证。它通过添加噪声提供了单个个体对算法输出影响的无条件上限。
2.2.1 Local Differential Privacy
ε-本地化差分隐私中 n 个用户分别持有一条记录，若算法 M 在任意两条记录 t 和 t’上的输出结果满足不等式：
，则称算法 M 满足ε-本地化差分隐私。使用 LDP，DP所需的噪声添加由每个参与者在本地执行。每个参与者运行一个随机扰动算法 M 并将结果发送到服务器，扰动结果根据隐私预算值保护个人数据。算法如下图所示。
2.2.2 Central Differential Privacy
(ε, δ)-差分隐私，给定任意相邻数据集 D 和 D’，对随机算法 M 及任意输出结果 S，有不等式
预防联邦学习中的后门攻击
3.1 Backdoor Attack
中毒攻击分为针对性攻击和随机攻击（无目的攻击）。在前者中，目的是让模型输出一个由攻击者预先定义的目标标签。在后者中，攻击者旨在降低最终模型的准确性。这两种攻击可以针对数据或者模型执行。这里，我们将有针对性的模型中毒攻击称为后门攻击，恶意客户端将后门任务注入最终模型。
在训练的某一轮中，攻击者尝试引入后门，并通过向服务器发送模型更新：
以达到用后门模型替换聚合模型。下一轮聚合时产生：
3.2 Defenses
3.2.1 Krum and coordinate-wise median
Median 和 Krum 是两种拜占庭鲁棒的聚合规则。在 Median 聚合规则中，对于第 j 个全局模型参数，主设备(服务器)会对 m 个计算节点的第 j 个参数进行排序，并将中位数(median)作为全局模型的第 j 个参数。当 m 为偶数时，中位数是中间两个参数的均值。Krum 则是在 m 个计算节点中选择一个与其他计算节点参数最为相似的计算节点，将该计算节点的参数作为全局参数。Krum 的想法是即使所选择的参数来自于受攻击/恶意的计算节点设备，其能够产生的影响也是受限的，因为它与其他可能的正常计算节点设备的参数是相似的。
3.2.2 Norm Bounding
如果从攻击者收到的模型更新超过某个阈值，则服务器可以简单地忽略这些参与者。然而如果我们假设对手知道阈值，因此他可以始终在此范围内返回恶意更新。
我们假设更新的阈值是T，那么服务器可以确保参与者更新的规范在阈值之内：
3.2.3 (Weak) differential privacy
防御后门任务的数学严谨方法是训练具有差异隐私的模型。首先裁剪更新，然后添加高斯噪声，进一步降低有毒数据的影响。总体而言，即使损失有限效用，这在减轻后门攻击方面也被证明更有效。这种机制之所以被称为“弱”DP，因为它产生大量隐私预算并且不保护隐私。
3.3 Experiment
在 FL 中对 LDP 和 CDP 进行防御后门攻击进行实验，针对不同的场景，应用：
1. CDP on all participants;
2. LDP on all participants (including attackers);
3. LDP on non-attackers, while attackers opt-out;
4. Norm bounding
5. Weak DP
在 NMNIST 数据集场景下，实验结果如下图所示。
结论：LDP 和 CDP 在降低后门攻击准确性方面比 Norm Bounding 和 Weak DP 更有效，尽管效用水平不同。总体而言，CDP 效果更好，因为它可以更好地减轻攻击并产生更好的实用性。
预防联邦学习中的推理攻击
在成员推断攻击中，恶意方想要知道参与方是否使用特定数据点来训练模型，数据点是否属于特定参与者或该环境中的任何参与者。
在属性推理攻击中，对手旨在识别模型中的模式以揭示模型训练参与方不想公开的某些属性。
4.1 Membership Inference Experiment
4.2 Property Inference Experiment
总结与展望
1.LDP 可以成功降低后门攻击和成员推断攻击的成功率
2.LDP 不能防御属性推理攻击
3.针对后门攻击和成员推断攻击的，CDP 提供了一种比 LDP 更有效的防御
4.CDP 无法找到一种保持可接受效用的实验设置去防御属性推理攻击
5.希望可以尝试防御更多的攻击，如模型反转和重建攻击
6.希望可以将鲁棒性和隐私性实验扩展到其他任务和数据集
分享仅供学习参考，若有不当，请联系我们处理。
END
2.论文分享｜QuickSilver：任意域上的用于电路和多项式的可负担的高效零知识证明
推3.论文分享｜容忍恶意行为的联邦学习安全聚合方案——IEEE S&P 2023论文速览
荐4.会议信息 | 2024年1月截稿的密码学与信息安全会议整理