在PyTorch中,可以使用torch.nn.Module
類中的parameters()
方法來獲取模型的權重參數,然后使用正則化方法來對這些參數進行約束。下面是一個示例代碼,演示了如何對模型的權重進行L2正則化:
import torch
import torch.nn as nn
import torch.optim as optim
# 定義一個簡單的神經網絡模型
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(10, 5)
self.fc2 = nn.Linear(5, 1)
def forward(self, x):
x = torch.relu(self.fc1(x))
x = self.fc2(x)
return x
# 創建模型實例
model = Net()
# 定義L2正則化參數
l2_lambda = 0.01
# 定義優化器和損失函數
optimizer = optim.Adam(model.parameters(), lr=0.01)
criterion = nn.MSELoss()
# 訓練模型
for epoch in range(100):
optimizer.zero_grad()
# 正向傳播
output = model(torch.randn(1, 10))
loss = criterion(output, torch.randn(1, 1))
# 添加L2正則化項
l2_reg = torch.tensor(0.)
for param in model.parameters():
l2_reg += torch.norm(param)
loss += l2_lambda * l2_reg
# 反向傳播
loss.backward()
optimizer.step()
在上述示例中,我們首先定義了一個簡單的神經網絡模型Net
,然后創建了模型實例。在訓練循環中,我們使用optimizer.zero_grad()
來清除之前的梯度,然后進行正向傳播和計算損失。接著,我們計算所有權重參數的L2范數,并將其添加到損失函數中作為正則化項。最后,我們進行反向傳播和更新模型參數。