溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了python如何實現多線程并發抓取，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
多線程并發抓取
單線程太慢的話，就需要多線程了，這里給個簡單的線程池模板 這個程序只是簡單地打印了1-10，但是可以看出是并發的。
雖然說Python的多線程很雞肋，但是對于爬蟲這種網絡頻繁型，還是能一定程度提高效率的。
from threading import Thread from Queue import Queue from time import sleep # q是任務隊列 #NUM是并發線程總數 #JOBS是有多少任務 q = Queue() NUM = 2 JOBS = 10 #具體的處理函數，負責處理單個任務 def do_somthing_using(arguments): print arguments #這個是工作進程，負責不斷從隊列取數據并處理 def working(): while True: arguments = q.get() do_somthing_using(arguments) sleep(1) q.task_done() #fork NUM個線程等待隊列 for i in range(NUM): t = Thread(target=working) t.setDaemon(True) t.start() #把JOBS排入隊列 for i in range(JOBS): q.put(i) #等待所有JOBS完成 q.join()
感謝你能夠認真閱讀完這篇文章，希望小編分享的“python如何實現多線程并發抓取”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
