淄博建网站多少钱,获取免费域名,h5企业模板网站,wordpress页面如何显示分类高级分布式系统汇总#xff1a;高级分布式系统目录汇总-CSDN博客
联邦学习
两种常见的架构#xff1a;客户-服务器架构和对等网络架构 联邦学习在传统的分布式机器学习基础上的变化。
传统的分布式机器学习#xff1a;在数据中心或计算集群中使用并行训练#xff0c;因为…高级分布式系统汇总高级分布式系统目录汇总-CSDN博客
联邦学习
两种常见的架构客户-服务器架构和对等网络架构 联邦学习在传统的分布式机器学习基础上的变化。
传统的分布式机器学习在数据中心或计算集群中使用并行训练因为有高速通信连接所以通信开销相对很小计算开销将会占主导地位。
联邦学习通信需要依靠互联网甚至是无线网络所以通信代价是占主导地位的。
减少通信轮次的方法
增加并行度加入更多的参与方让它们在通信轮次间各自独立地进行模型训练。
增加每一个参与方中的计算每一个参与方可以在两个通信轮次之间进行更复杂的计算。 最经典的联邦学习算法——FedAvg
1、服务器初始化训练模型并随机选择所有客户端中的一部分将模型广播给被选择的用户。
2、被选择的客户端先将接受到的模型作为初始化模型在利用本地数据进行训练然后将结果上传给服务器。
3、服务器聚合收到的模型然后再随机选择所有客户端中的一部分将模型广播给被选择的用户。
4、重复2和3直至模型收敛。 FedAvg存在的两个缺陷
设备异质性不同的设备间的通信和计算能力是有差异的。在FedAvg中被选中的客户端在本地都训练相同的epoch虽然作者指出提升epoch可以有效减小通信成本但较大的epoch下可能会有很多设备无法按时完成训练。无论是直接drop掉这部分客户端的模型还是直接利用这部分未完成的模型来进行聚合都将对最终模型的收敛造成不好的影响。
数据异质性不同设备中数据可能是非独立同分布的。如果数据是独立同分布的那么本地模型训练较多的epoch会加快全局模型的收敛如果不是独立同分布的不同设备在利用非IID的本地数据进行训练并且训练轮数较大时本地模型将会偏离初始的全局模型。
FedProx——FedAvg的改进 异步与同步联邦学习的结合
Resource-Efficient Federated Learning with Hierarchical Aggregation in Edge Computing(IEEE INFOCOM 2021) 联邦学习算法的优化分类方法 联邦学习涉及的应用研究
