美文网首页联邦学习
联邦学习的两种训练模式

联邦学习的两种训练模式

作者: 飞驰2019 | 来源:发表于2019-08-06 19:07 被阅读0次

    在前文中,对联邦学习的场景进行了简单的介绍,接下来对不同的场景下的训练模式进行介绍。

    在联邦学习中,每个参与协同训练的组织被称为一个Party。各参与者按照职责的不同,被划分为以下三种角色:

    Guest:

    任务发布者和数据消费者。作为任务发布者,Guest需要提供训练任务的标注样本(如用户是否违约)供监督学习的算法使用。作为消费者,Guest接收来自Host模型的局部预测结果,同时将相应的梯度返回Host。一个Guest通常可以对应一至多个Host。

    Host:

    数据提供者。Host基于自身数据和本地模型进行预测,将预测结果发送至Guest节点,同时接收来自Guest节点的梯度返回。

    Abiter:

    训练协调者,分别接收来自Guest和Host的梯度,将优化后的参数返回对应节点。

    在实际应用中,由于数据特征和样本的覆盖往往存在差异,因而对应的训练模式和各角色之间的协作方式亦不尽相同,大致可以分为以下两类:

    1. Homo模式

    对应前文中的场景一。在此模式下,由于Guest和Host持有的数据特征基本一致,因而作为对等的角色参与训练。此模式成立的一个必要前提是,Host亦拥有自己的标注样本。由于此时Host不再需要来自Guest的梯度反馈,因而两者之间并不进行通讯。 

Home 模式

    2. Hetero模式

    对应前文中的场景二。在此模式下,由于Guest和Host的共同特征较小,需要使用双方特征的并集进行训练,样本标注则由Guest单方面提供。   

Hetero 模式

相关文章

  • 联邦学习的两种训练模式

    在前文中,对联邦学习的场景进行了简单的介绍,接下来对不同的场景下的训练模式进行介绍。 在联邦学习中,每个参与协...

  • 图解 prometheus 联邦制

    prometheus 的联邦制分为两种,分层联邦和跨服务联邦。 1. 分层联邦 分层联邦允许 Prometheus...

  • 睡觉,才能学的更好

    【20200405】读书分享(第12天): 《学习之道》中提到学习的两种模式有:专注模式和发散模式,只有在两种模式...

  • 一组9号Bonnie阅《幸福的方法》第六章- 幸福学习法,读后感

    教育是获得幸福的最好机会! 作者说学习有两种学习的动机模式,分别是“溺水模式”与“性爱模式”。这两种模式,和IGS...

  • coursera:Learning How to Learn第一

    学习模式:专注模式和发散模式 两种模式不会同时存在,我们学习时通常是两种模式在不断地切换。这种随时能转换的能力,对...

  • 064 学习之道 第二章 放松点01

    学习呢, 在大脑中有很多的相关活动, 有两种思维模式是和学习很相关的。 这两种思维模式是:专注模式和发散模式。 专...

  • 联邦学习角色视图

    联邦学习生态中,包含三种角色:用户,联邦学习参与方,协调方。 联邦学习用户 联邦学习用户可以是自然人或代表该自然人...

  • 联邦学习

    有道是,不懂技术的专利代理师跟咸鱼有什么区别。。。 本系列旨在总结“办案”(听起来很牛逼的样子,其实就是码字)过程...

  • Coursera人气课程:学会如何学习 (一)笔记

    Coursera人气课程:学会如何学习 (一) 1.两种思考模式: 专注模式《—————》发散模式 重点学习时 ...

  • 33/70 小控班 067—会休息才会学习

    昨天和大家谈到了学习中的两种模式,专注模式和发散模式。高效的学习一定是能在这两种模式中来回切换。在这里我再强调一次...

网友评论

    本文标题:联邦学习的两种训练模式

    本文链接:https://www.haomeiwen.com/subject/yfyirctx.html