溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
在很多神經網絡中，往往會出現多個層共享一個權重的情況，pytorch可以快速地處理權重共享問題。
例子1：
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
self.conv_weight = nn.Parameter(torch.randn(3, 3, 5, 5))
def forward(self, x):
x = nn.functional.conv2d(x, self.conv_weight, bias=None, stride=1, padding=2, dilation=1, groups=1)
x = nn.functional.conv2d(x, self.conv_weight.transpose(2, 3).contiguous(), bias=None, stride=1, padding=0, dilation=1,
groups=1)
return x
上邊這段程序定義了兩個卷積層，這兩個卷積層共享一個權重conv_weight，第一個卷積層的權重是conv_weight本身，第二個卷積層是conv_weight的轉置。注意在gpu上運行時，transpose()后邊必須加上.contiguous()使轉置操作連續化，否則會報錯。
例子2：
class LinearNet(nn.Module):
def __init__(self):
super(LinearNet, self).__init__()
self.linear_weight = nn.Parameter(torch.randn(3, 3))
def forward(self, x):
x = nn.functional.linear(x, self.linear_weight)
x = nn.functional.linear(x, self.linear_weight.t())
return x
這個網絡實現了一個雙層感知器，權重同樣是一個parameter的本身及其轉置。
例子3：
class LinearNet2(nn.Module):
def __init__(self):
super(LinearNet2, self).__init__()
self.w = nn.Parameter(torch.FloatTensor([[1.1,0,0], [0,1,0], [0,0,1]]))
def forward(self, x):
x = x.mm(self.w)
x = x.mm(self.w.t())
return x
這個方法直接用mm函數將x與w相乘，與上邊的網絡效果相同。
以上這篇pytorch 共享參數的示例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
