怎么使用Python和OpenCV實現在線打乒乓球

本篇內容介紹了“怎么使用Python和OpenCV實現在線打乒乓球”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

捕捉屏幕

第一件事就是捕捉屏幕。我想確保我的幀速率盡可能快，為此我發現MSS是一個很棒的python包。有了這個，我很容易達到60幀/秒的最高速度，與 PIL  相比，我只能得到大約20幀每秒。它以 numpy 數組的形式返回。

Paddle detection

為了簡單起見，我們需要定義paddle  的位置。這可以用幾種不同的方法來完成，但我認為最明顯的是對每個Paddle的區域進行遮罩，然后運行連接的組件來找到Paddle對象。下面是一段代碼：

def get_objects_in_masked_region(img, vertices,  connectivity = 8):     ''':return connected components with stats in masked region     [0] retval number of total labels 0 is background     [1] labels image     [2] stats[0] leftmostx, [1] topmosty, [2] horizontal size, [3] vertical size, [4] area     [3] centroids     '''     mask = np.zeros_like(img)    # fill the mask     cv2.fillPoly(mask, [vertices], 255)     # now only show the area that is the mask     mask = cv2.bitwise_and(img, mask)     conn = cv2.connectedComponentsWithStats(mask, connectivity, cv2.CV_16U)     return conn

在上面，“vertices”只是定義遮罩區域的坐標列表。一旦在每個區域內有了對象，我就可以得到它們的質心位置或邊界框。需要注意的一點是OpenCV將背景作為任何連接的組件列表中的第0個對象，因此在本例中，我總是獲取第二大的對象。結果如下——右邊綠色質心的球拍是玩家  / 即將成為人工智能控制的球拍。

移動paddle

現在我們有了輸出，我們需要一個輸入。為此，我求助于一個有用的包和其他人的代碼 。

它使用ctypes來模擬鍵盤按下，在這種情況下，游戲是用“k”和“m”鍵來玩的。我這里有掃描碼。在測試了它只是隨機上下移動后，我們就可以開始跟蹤了。

乒乓球檢測

下一步是識別并跟蹤乒乓球。同樣，這可以用幾種方法來處理——其中一種可能是通過使用模板進行對象檢測，然而，我再次使用了連接的組件和對象屬性，即乒乓球的區域，因為它是唯一具有尺寸的對象。

我知道每當乒乓球穿過或碰到其他白色物體時，我都會遇到問題，但我也認為只要我能在大多數時間里追蹤到它，這一切都沒問題。畢竟，它是直線運動的。如果你看下面的視頻，你會看到標記乒乓球的紅色圓圈是如何閃爍的。這是因為它只在每2幀中找到一個。在60幀/秒時，這并不重要。

反彈預測的光線投射

在這一點上，我們已經有一個可工作的人工智能。如果我們只是移動球員的球拍，使其處于與乒乓球相同的y軸位置，它的效果相當不錯。然而，當乒乓球得到良好的反彈時，它確實會遇到問題。球拍太慢了，跟不上，需要預測乒乓球的位置，而不是僅僅移動到當前的位置。這已經在上面的剪輯中實現了，下面是兩種方法的比較。

差別并不大，但如果選擇了正確的人工智能，這絕對是一場更穩定的勝利。為此，我首先為乒乓球創建了一個位置列表。為了公平起見，我把這個列表的長度控制在5個，基本上可以做到。列表不要太長，否則要花更長的時間才能發現它改變了方向。在得到位置列表后，我使用簡單的矢量平均法來平滑并得到方向矢量——如綠色箭頭所示。這也被標準化成一個單位向量，然后乘以一個長度以方便可視化。

投射光線只是這個的延伸——使前向投影變長。然后我檢查了未來的位置是否在頂部和底部區域的邊界之外。如果是這樣的話，它只是將位置投影回游戲區域。對于左側和右側，它計算出與paddle的x位置相交的位置，并將x和y位置固定到該點。這樣可以確保paddle指向正確的位置。如果沒有這一點，它通常會走得太遠。下面是定義光線的代碼，該光線可以預測乒乓球的未來位置：

def pong_ray(pong_pos, dir_vec, l_paddle, r_paddle, boundaries, steps = 250):     future_pts_list = []    for i in range(steps):         x_tmp = int(i * dir_vect[0] + pong_pos[0])         y_tmp = int(i * dir_vect[1] + pong_pos[1])         if y_tmp > boundaries[3]: #bottom             y_end = int(2*boundaries[3] - y_tmp)             x_end = x_tmp        elif y_tmp < boundaries[2]: #top             y_end = int(-1*y_tmp)             x_end = x_tmp        else:             y_end = y_tmp        ##stop where paddle can reach        if x_tmp > r_paddle[0]: #right             x_end = int(boundaries[1])             y_end = int(pong_pos[1] + ((boundaries[1] - pong_pos[0])/dir_vec[0])*dir_vec[1])         elif x_tmp < boundaries[0]: #left             x_end = int(boundaries[0])             y_end = int(pong_pos[1] + ((boundaries[0] - pong_pos[0]) / dir_vec[0]) * dir_vec[1])         else:             x_end = x_tmp        end_pos = (x_end, y_end)        future_pts_list.append(end_pos)     return future_pts_list

在上面，也許不太明顯的計算方法是確定paddle對目標的左或右位置的截距。我們基本上是通過相似三角形來實現的，圖片和方程如下所示。我們知道在邊界中給定的paddle的x位置的截距。然后我們可以計算出乒乓球將移動多遠，并將其添加到當前的y位置。

paddle雖然看起來筆直，但實際上有一個彎曲的反彈面。也就是說，如果你用球拍向兩端擊球，球會反彈，就像球拍有角度一樣。因此，我允許球拍擊中邊緣，這增加了人工智能的攻擊性，使乒乓球四處飛舞。

“怎么使用Python和OpenCV實現在線打乒乓球”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！