溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
PyTorch基礎入門三：PyTorch搭建多項式回歸模型
1）理論簡介
對于一般的線性回歸模型，由于該函數擬合出來的是一條直線，所以精度欠佳，我們可以考慮多項式回歸來擬合更多的模型。所謂多項式回歸，其本質也是線性回歸。也就是說，我們采取的方法是，提高每個屬性的次數來增加維度數。比如，請看下面這樣的例子：
如果我們想要擬合方程：
對于輸入變量
和輸出值
，我們只需要增加其平方項、三次方項系數即可。所以，我們可以設置如下參數方程：
可以看到，上述方程與線性回歸方程并沒有本質區別。所以我們可以采用線性回歸的方式來進行多項式的擬合。下面請看代碼部分。
2）代碼實現
當然最先要做的就是導包了，下面需要說明的只有一個：itertools中的count，這個是用來記數用的，其可以記數到無窮，第一個參數是記數的起始值，第二個參數是步長。其內部實現相當于如下代碼：
def count(firstval=0, step=1): x = firstval while 1: yield x x += step
下面是導包部分代碼，這里定義了一個常量POLY_DEGREE = 3用來指定多項式最高次數。
from itertools import count import torch import torch.autograd import torch.nn.functional as F POLY_DEGREE = 3
然后我們需要將數據處理成矩陣的形式：
在PyTorch里面使用torch.cat()函數來實現Tensor的拼接：
def make_features(x): """Builds features i.e. a matrix with columns [x, x^2, x^3, x^4].""" x = x.unsqueeze(1) return torch.cat([x ** i for i in range(1, POLY_DEGREE+1)], 1)
對于輸入的
個數據，我們將其擴展成上面矩陣所示的樣子。
然后定義出我們需要擬合的多項式，可以隨機抽取一個多項式來作為我們的目標多項式。當然，系數
和偏置
確定了，多項式也就確定了：
W_target = torch.randn(POLY_DEGREE, 1) b_target = torch.randn(1) def f(x): """Approximated function.""" return x.mm(W_target) + b_target.item()
這里的權重已經定義好了，x.mm(W_target)表示做矩陣乘法，
就是每次輸入一個得到一個的真實函數。
在訓練的時候我們需要采樣一些點，可以隨機生成一批數據來得到訓練集。下面的函數可以讓我們每次取batch_size這么多個數據，然后將其轉化為矩陣形式，再把這個值通過函數之后的結果也返回作為真實的輸出值：
def get_batch(batch_size=32): """Builds a batch i.e. (x, f(x)) pair.""" random = torch.randn(batch_size) x = make_features(random) y = f(x) return x, y
接下來我們需要定義模型，這里采用一種簡寫的方式定義模型，torch.nn.Linear()表示定義一個線性模型，這里定義了是輸入值和目標參數的行數一致（和POLY_DEGREE一致，本次實驗中為3），輸出值為1的模型。
# Define model fc = torch.nn.Linear(W_target.size(0), 1)
下面開始訓練模型，訓練的過程讓其不斷優化，直到隨機取出的batch_size個點中計算出來的均方誤差小于0.001為止。
for batch_idx in count(1): # Get data batch_x, batch_y = get_batch() # Reset gradients fc.zero_grad() # Forward pass output = F.smooth_l1_loss(fc(batch_x), batch_y) loss = output.item() # Backward pass output.backward() # Apply gradients for param in fc.parameters(): param.data.add_(-0.1 * param.grad.data) # Stop criterion if loss < 1e-3: break
這樣就已經訓練出了我們的多項式回歸模型，為了方便觀察，定義了如下打印函數來打印出我們擬合的多項式表達式：
def poly_desc(W, b):
"""Creates a string description of a polynomial."""
result = 'y = '
for i, w in enumerate(W):
result += '{:+.2f} x^{} '.format(w, len(W) - i)
result += '{:+.2f}'.format(b[0])
return result
print('Loss: {:.6f} after {} batches'.format(loss, batch_idx))
print('==> Learned function:\t' + poly_desc(fc.weight.view(-1), fc.bias))
print('==> Actual function:\t' + poly_desc(W_target.view(-1), b_target))
程序運行結果如下圖所示：
可以看出，真實的多項式表達式和我們擬合的多項式十分接近。現實世界中很多問題都不是簡單的線性回歸，涉及到很多復雜的非線性模型。但是我們可以在其特征量上進行研究，改變或者增加其特征，從而將非線性問題轉化為線性問題來解決，這種處理問題的思路是我們從多項式回歸的算法中應該汲取到的。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
