干货 | ICLR 2024 Twin-sight：标签稀缺下的联邦模型鲁棒训练范式

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文提出了一种新型联邦半监督学习训练范式，Twin-sight。首先分析了现有联邦半监督学习由于单一模型下的多目标函数优化，导致模型更新时的梯度冲突，降低了联邦学习系统对无标签知识的有效利用。基于孪生视角的Twin-sight双模型训练范式，将多目标函数问题解耦，从根本上杜绝了梯度冲突的发生。大量的实验证明，Twin-sight有效提升了联邦半监督学习的性能。论文题目：Robust Training of Federated Models with Extremely Label Deficiency论文链接：https://arxiv.org/abs/2402.14430v1代码链接：https://github.com/visitworld123/Twin-sight一、引言在联邦学习的分布式环境中，由于客户端硬件资源的限制以及数据标注的高昂成本，客户端往往无法对其拥有的全部数据进行标注，这导致联邦系统难以充分发挥其性能优势，同时也造成 ………………………………