联邦学习时,客户端之间会互相学习吗
会。联邦学习方法介绍说明,联邦学习时,拥有独立的数据库能相互分享,客户端之间也会互相学习。联邦学习,作为一种加密的分布式机器学习范式,可以使得各方在不披露原始数据的情况下达到共建模型的目的。
联邦学习的性能优化方向
方向:尽可能多的将计算放在终端设备中进行,减少各终端之间的数据传输。
联邦学习效率优化主要就是从算法层面和通信层面来着手,在算法计算和通信两大因素中,通信效率的优化要比计算性能的优化复杂和困难得多,因此,当前联邦学习效率的优化主要方向是尽可能多的将计算放在终端设备中进行,以此减少各终端之间的数据传输。
效率是指在保证模型性能不下降的前提下,有效提升联邦学习的训练效率,它是影响联邦学习落地的一个重要因素,其中模型计算和通信传输是影响联邦学习效率的主要原因。
特点说明
横向联邦学习特点:数据的特征维度相同,通过联邦学习聚合更多的数据样本,解决单边建模数据量不足的问题。
纵向联邦学习特点:数据样本的ID是一致的,数据的特征不同,使用联邦学习丰富样本的特征,从而更精准的刻画样本。
联邦学习性能优化方向
联邦学习性能优化方向:横向联邦学习和纵向联邦学习。
1、横向联邦学习:在两个数据集的用户特征重叠较多而用户重叠较少的情况下,我们把数据集按照横向(即用户维度)切分,并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。
比如有两家不同地区银行,它们的用户群体分别来自各自所在的地区,相互的交集很小。但是,它们的业务很相似,因此,记录的用户特征是相同的。在单个用户使用安卓手机时,不断在本地更新模型参数并将参数上传到安卓云上,从而使特征维度相同的各数据拥有方建立联合模型的一种联邦学习方案。
2、纵向联邦学习:在两个数据集的用户重叠较多而用户特征重叠较少的情况下,我们把数据集按照纵向(即特征维度)切分,并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。
比如有两个不同机构,一家是某地的银行,另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民,因此用户的交集较大。但是,由于银行记录的都是用户的收支行为与信用评级,而电商则保有用户的浏览与购买历史,因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合,以增强模型能力的联邦学习。
关于联邦学习和隐私计算的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。