网络空间安全学院院讯(通讯员:魏键康)近日,计算机图形学与多媒体领域学术会议IEEE International Conference on Multimedia & Expo 2025(ICME)接收我院学术论文“Enhancing Federated Learning Robustness with Pre-trained Staged Modular Distillation”。该论文以曲阜师范大学网络空间安全学院为第一完成单位,该论文由2022级研究生魏键康担任第一作者,马旭教授担任通讯作者。ICME是中国计算机学会(CCF)推荐的B类国际学术会议。
联邦学习(FL)解决了与数据隐私和安全相关的问题,但却面临着数据不足和不平衡的挑战,引入预训练模型提供了一个有希望的解决方案来应对这些问题。然而,现有的方法假设本地模型和预训练模型之间的数据分布相似。此外,使用预训练模型进行训练增加了受到后门攻击的敏感性。为了解决这一挑战,我们提出了一种新颖的个性化联邦学习方法——个性化联邦分阶段模块蒸馏(pFedSMD)。通过集成分阶段蒸馏和参数解耦,pFedSMD不仅能够有效地聚合预训练模型,而且还能破坏模型中潜在的后门。实验结果显示,在IID和Non-IID设置下,pFedSMD在四个数据集上均优于基线方法。此外,pFedSMD能有效减轻使用不同预训练模型带来的负面影响,并在防御预训练模型中的后门攻击方面表现出色。

该研究得到了国家自然科学基金和山东省自然科学基金的资助支持。