溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
前提：我訓練的是二分類網絡，使用語言為pytorch
Varibale包含三個屬性：
data：存儲了Tensor，是本體的數據
grad：保存了data的梯度，本事是個Variable而非Tensor，與data形狀一致
grad_fn：指向Function對象，用于反向傳播的梯度計算之用
在構建網絡時，剛開始的錯誤為：沒有可以grad_fn屬性的變量。
百度后得知要對需要進行迭代更新的變量設置requires_grad=True ，操作如下：
train_pred = Variable(train_pred.float(), requires_grad=True)`
這樣設置之后網絡是跑起來了，但是準確率一直沒有提升，很明顯可以看出網絡什么都沒學到。
我輸出 model.parameters() (網絡內部的權重和偏置)查看，發現它的權重并沒有更新，一直是同一個值，至此可以肯定網絡什么都沒學到，還是迭代那里出了問題。
詢問同門后發現問題不在這里。
計算loss時，target與train_pred的size不匹配，我以以下操作修改了train_pred，使兩者尺寸一致，才導致了上述問題。
train_pred = model(data) train_pred = torch.max(train_pred, 1)[1].data.squeeze() train_pred = Variable(train_pred.float(), requires_grad=False) train_loss = F.binary_cross_entropy(validation_pred.float(), target) train_loss.backward()
對train_pred多次處理后，它已無法正確地反向傳播，實際上應該更改target，使其與train_pred size一致。
重點！！！要想loss正確反向傳播，應直接將model(data)傳入loss函數。
最終修改代碼如下：
for batch_idx, (data, target) in enumerate(train_loader): # Get Samples label = target.view(target.size(0), 1).long() target_onehot = torch.zeros(data.shape[0], args.num_classes).scatter_(1, label, 1) data, target_onehot = Variable(data.cuda()), Variable(target_onehot.cuda().float()) model.zero_grad() # Predict train_pred = model(data) train_loss = F.binary_cross_entropy(train_pred, target_onehot) train_loss.backward() optimizer.step()
以上這篇淺談pytorch grad_fn以及權重梯度不更新的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
