PyTorch實現(xiàn)FedProx聯(lián)邦學(xué)習(xí)算法
更新時間：2022年05月11日 15:40:51 作者：Cyril_KI
這篇文章主要為大家介紹了PyTorch實現(xiàn)FedProx的聯(lián)邦學(xué)習(xí)算法，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
I. 前言
FedProx的原理請見：FedAvg聯(lián)邦學(xué)習(xí)FedProx異質(zhì)網(wǎng)絡(luò)優(yōu)化實驗總結(jié)
聯(lián)邦學(xué)習(xí)中存在多個客戶端，每個客戶端都有自己的數(shù)據(jù)集，這個數(shù)據(jù)集他們是不愿意共享的。
數(shù)據(jù)集為某城市十個地區(qū)的風(fēng)電功率，我們假設(shè)這10個地區(qū)的電力部門不愿意共享自己的數(shù)據(jù)，但是他們又想得到一個由所有數(shù)據(jù)統(tǒng)一訓(xùn)練得到的全局模型。
III. FedProx
算法偽代碼：
1. 模型定義
客戶端的模型為一個簡單的四層神經(jīng)網(wǎng)絡(luò)模型：
# -*- coding:utf-8 -*-
"""
@Time: 2022/03/03 12:23
@Author: KI
@File: model.py
@Motto: Hungry And Humble
"""
from torch import nn
class ANN(nn.Module):
def __init__(self, args, name):
super(ANN, self).__init__()
self.name = name
self.len = 0
self.loss = 0
self.fc1 = nn.Linear(args.input_dim, 20)
self.relu = nn.ReLU()
self.sigmoid = nn.Sigmoid()
self.dropout = nn.Dropout()
self.fc2 = nn.Linear(20, 20)
self.fc3 = nn.Linear(20, 20)
self.fc4 = nn.Linear(20, 1)
def forward(self, data):
x = self.fc1(data)
x = self.sigmoid(x)
x = self.fc2(x)
x = self.sigmoid(x)
x = self.fc3(x)
x = self.sigmoid(x)
x = self.fc4(x)
x = self.sigmoid(x)
return x
2. 服務(wù)器端
服務(wù)器端和FedAvg一致，即重復(fù)進(jìn)行客戶端采樣、參數(shù)傳達(dá)、參數(shù)聚合三個步驟：
# -*- coding:utf-8 -*-
"""
@Time: 2022/03/03 12:50
@Author: KI
@File: server.py
@Motto: Hungry And Humble
"""
import copy
import random
import numpy as np
import torch
from model import ANN
from client import train, test
class FedProx:
def __init__(self, args):
self.args = args
self.nn = ANN(args=self.args, name='server').to(args.device)
self.nns = []
for i in range(self.args.K):
temp = copy.deepcopy(self.nn)
temp.name = self.args.clients[i]
self.nns.append(temp)
def server(self):
for t in range(self.args.r):
print('round', t + 1, ':')
# sampling
m = np.max([int(self.args.C * self.args.K), 1])
index = random.sample(range(0, self.args.K), m) # st
# dispatch
self.dispatch(index)
# local updating
self.client_update(index, t)
# aggregation
self.aggregation(index)
return self.nn
def aggregation(self, index):
s = 0
for j in index:
# normal
s += self.nns[j].len
params = {}
for k, v in self.nns[0].named_parameters():
params[k] = torch.zeros_like(v.data)
for j in index:
for k, v in self.nns[j].named_parameters():
params[k] += v.data * (self.nns[j].len / s)
for k, v in self.nn.named_parameters():
v.data = params[k].data.clone()
def dispatch(self, index):
for j in index:
for old_params, new_params in zip(self.nns[j].parameters(), self.nn.parameters()):
old_params.data = new_params.data.clone()
def client_update(self, index, global_round): # update nn
for k in index:
self.nns[k] = train(self.args, self.nns[k], self.nn, global_round)
def global_test(self):
model = self.nn
model.eval()
for client in self.args.clients:
model.name = client
test(self.args, model)
3. 客戶端更新
FedProx中客戶端需要優(yōu)化的函數(shù)為：
作者在FedAvg損失函數(shù)的基礎(chǔ)上，引入了一個proximal term，我們可以稱之為近端項。引入近端項后，客戶端在本地訓(xùn)練后得到的模型參數(shù) w將不會與初始時的服務(wù)器參數(shù)wt偏離太多。
對應(yīng)的代碼為：
def train(args, model, server, global_round):
model.train()
Dtr, Dte = nn_seq_wind(model.name, args.B)
model.len = len(Dtr)
global_model = copy.deepcopy(server)
if args.weight_decay != 0:
lr = args.lr * pow(args.weight_decay, global_round)
else:
lr = args.lr
if args.optimizer == 'adam':
optimizer = torch.optim.Adam(model.parameters(), lr=lr,
weight_decay=args.weight_decay)
else:
optimizer = torch.optim.SGD(model.parameters(), lr=lr,
momentum=0.9, weight_decay=args.weight_decay)
print('training...')
loss_function = nn.MSELoss().to(args.device)
loss = 0
for epoch in range(args.E):
for (seq, label) in Dtr:
seq = seq.to(args.device)
label = label.to(args.device)
y_pred = model(seq)
optimizer.zero_grad()
# compute proximal_term
proximal_term = 0.0
for w, w_t in zip(model.parameters(), global_model.parameters()):
proximal_term += (w - w_t).norm(2)
loss = loss_function(y_pred, label) + (args.mu / 2) * proximal_term
loss.backward()
optimizer.step()
print('epoch', epoch, ':', loss.item())
return model
我們在原有MSE損失函數(shù)的基礎(chǔ)上加上了一個近端項：
for w, w_t in zip(model.parameters(), global_model.parameters()):
proximal_term += (w - w_t).norm(2)
然后再反向傳播求梯度，然后優(yōu)化器step更新參數(shù)。
原始論文中還提出了一個不精確解的概念：
不過值得注意的是，我并沒有在原始論文的實驗部分找到如何選擇 γ \gamma γ的說明。查了一下資料后發(fā)現(xiàn)是涉及到了近端梯度下降的知識，本文代碼并沒有考慮不精確解，后期可能會補(bǔ)上。
IV. 完整代碼
鏈接：https://pan.baidu.com/s/1hj2EOcqIUmM-C6R1cyjE5Q
提取碼：fghp
項目結(jié)構(gòu)：
其中：
- server.py為服務(wù)器端操作。
- client.py為客戶端操作。
- data_process.py為數(shù)據(jù)處理部分。
- model.py為模型定義文件。
- args.py為參數(shù)定義文件。
- main.py為主文件，如想要運(yùn)行此項目可直接運(yùn)行：
python main.py
以上就是PyTorch實現(xiàn)FedProx的聯(lián)邦學(xué)習(xí)算法的詳細(xì)內(nèi)容，更多關(guān)于PyTorch實現(xiàn)FedProx算法的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于Python中Thop庫的基本用例和參數(shù)說明的相關(guān)資料,THOP是PyTorch非常實用的一個第三方庫,可以統(tǒng)計模型的 FLOPs 和參數(shù)量,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05
python的pygal模塊繪制反正切函數(shù)圖像方法
在本篇文章中我們給大家整理了關(guān)于如何用python的pygal模塊繪制反正切函數(shù)圖像的知識點內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。2019-07-07
在Python中，生成器和迭代器是實現(xiàn)惰性計算的兩種重要工具，它們可以幫助我們更有效地處理數(shù)據(jù)接下來，小編就來為大家詳細(xì)介紹這兩種工具吧2023-07-07
你想復(fù)制一個對象？因為在Python中，無論你把對象做為參數(shù)傳遞，做為函數(shù)返回值，都是引用傳遞的2014-01-01
利用pandas進(jìn)行數(shù)據(jù)清洗的方法
本文主要介紹了利用pandas進(jìn)行數(shù)據(jù)清洗的方法，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)126郵箱發(fā)送郵件，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-05-05
這篇文章主要介紹了sqlalchemy對象轉(zhuǎn)dict的示例,需要的朋友可以參考下2014-04-04
conda創(chuàng)建環(huán)境、安裝包、刪除環(huán)境步驟詳細(xì)記錄
對于生信工作者,有一個方便可用的環(huán)境可以極大地方便我們開展分析,conda可以讓我們在非root的情況下較為方便地切換不同的工作環(huán)境,下面這篇文章主要給大家介紹了關(guān)于conda創(chuàng)建環(huán)境、安裝包、刪除環(huán)境步驟的相關(guān)資料,需要的朋友可以參考下2022-08-08
在網(wǎng)絡(luò)工程中,Ping測試是一種常用的網(wǎng)絡(luò)診斷工具,用于檢查網(wǎng)絡(luò)連接的可達(dá)性和響應(yīng)時間,隨著Python編程語言的廣泛應(yīng)用,越來越多的網(wǎng)絡(luò)工程師開始使用Python進(jìn)行自動化網(wǎng)絡(luò)測試和管理任務(wù),本篇文章將詳細(xì)介紹如何使用Python進(jìn)行Ping測試,需要的朋友可以參考下2024-06-06
在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于python異常中else的實例用法，有興趣的朋友們可以跟著學(xué)習(xí)下。2021-06-06