美文网首页联邦学习
联邦学习的两种训练模式

联邦学习的两种训练模式

作者: 飞驰2019 | 来源:发表于2019-08-06 19:07 被阅读0次

        在前文中,对联邦学习的场景进行了简单的介绍,接下来对不同的场景下的训练模式进行介绍。

        在联邦学习中,每个参与协同训练的组织被称为一个Party。各参与者按照职责的不同,被划分为以下三种角色:

        Guest:

        任务发布者和数据消费者。作为任务发布者,Guest需要提供训练任务的标注样本(如用户是否违约)供监督学习的算法使用。作为消费者,Guest接收来自Host模型的局部预测结果,同时将相应的梯度返回Host。一个Guest通常可以对应一至多个Host。

        Host:

        数据提供者。Host基于自身数据和本地模型进行预测,将预测结果发送至Guest节点,同时接收来自Guest节点的梯度返回。

        Abiter:

        训练协调者,分别接收来自Guest和Host的梯度,将优化后的参数返回对应节点。

        在实际应用中,由于数据特征和样本的覆盖往往存在差异,因而对应的训练模式和各角色之间的协作方式亦不尽相同,大致可以分为以下两类:

        1. Homo模式

        对应前文中的场景一。在此模式下,由于Guest和Host持有的数据特征基本一致,因而作为对等的角色参与训练。此模式成立的一个必要前提是,Host亦拥有自己的标注样本。由于此时Host不再需要来自Guest的梯度反馈,因而两者之间并不进行通讯。 

    Home 模式

        2. Hetero模式

        对应前文中的场景二。在此模式下,由于Guest和Host的共同特征较小,需要使用双方特征的并集进行训练,样本标注则由Guest单方面提供。   

    Hetero 模式

    相关文章

      网友评论

        本文标题:联邦学习的两种训练模式

        本文链接:https://www.haomeiwen.com/subject/yfyirctx.html