关键词:
医学影像分类
数据异构
联邦学习
神经架构搜索
子网昂贵评估
摘要:
近年来,深度学习在医学影像分析领域中的应用日益增多,尤其在辅助诊断方面表现出色,提升了诊断效率和准确性。然而,随着隐私保护意识的增强与法规的完善,医疗机构间的数据共享受到限制,导致了数据孤岛和数据异构问题。联邦学习技术应运而生,它采用“传模型而不传数据”的方式,在保护隐私的同时联合训练模型。但预定义的神经网络架构可能并非最优架构配置,而手动调优又极其繁琐。神经架构搜索虽能简化这一过程,但现有方法大多需集中收集数据,不适用于现在注重隐私保护的联邦学习环境。本文创新性地结合了可微神经架构搜索、风格迁移、联邦学习和多目标进化算法,设计了面向医学影像异构数据的联邦多目标神经架构搜索方法。该方法能在不暴露隐私数据的情况下,高效地自动生成适应不同客户端算力的优质架构,降低了手动调参的工作量。主要研究内容如下:
(1)针对异构数据导致的客户端漂移效应,损伤聚合后的全局模型性能和稳定性的问题,本文提出了一种基于风格迁移的隐私数据增强方法,利用其他客户端的数据风格增强本地数据,减轻数据分布差异,有效缓解了漂移效应。同时,针对可微神经架构微观搜索空间中算子粒度单一、层间重复堆叠不灵活的问题,设计了混合模块微观搜索空间和多层次宏观可微网络结构,提升了算子的感受野和全局特征提取能力。
(2)针对联邦架构搜索存在客户端间高昂的模型频繁传输成本和可微架构搜索只追求单个目标最大化的局限性,本文结合多目标进化算法,提出了联邦多目标进化可微神经架构搜索算法(Federated Multi-objective Differentiable Evolutionary Neural Architecture Search,FMDE-NAS),同时优化架构性能和参数量。该算法利用预先联邦训练的多层次可微超网作为搜索基础,设计了低传输成本的联邦权重继承方法,在搜索阶段通过传输模型架构编码而不传输模型参数的方式,节省了计算资源和传输开销。为了应对子网性能评估不准确的情况,还设计了联邦多阶段渐进式评估加速策略,包括联邦增量训练的低保真评估、渐进式在线代理预测评估等阶段,以便既能加速架构搜索过程又能维持较高架构性能评估准确性。
综上所述,本文研究的总体算法是FMDE-NAS,该算法会首先使用基于风格迁移的隐私数据增强方法来进行本地客户端数据的增强,以减轻数据异构情形。在此基础上,接着对本文设计的多层次可微超网进行预训练。预训练完成后的超网会作为后续进化搜索中联邦权重继承方法中使用的超网。在超网预训练后,开始进化搜索,搜索中会使用本文设计的编码方案。为了加速子网的评估,先使用联邦权重继承方法,再使用联邦多阶段渐进式评估加速策略来。在算法结束后,得到一组不同性能和参数的网络架构。
最后,在皮肤镜分类数据集和胸片分类数据集上分别进行了FMDE-NAS算法的实验,实验验证了所提方法的泛化性和有效性。实验结果表明,该方法能搜索出多种兼具高性能和低参数量的子网架构,并在不同异构程度的医疗数据集上表现出良好的适用性。