溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“python怎么實現多線程并發抓取”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“python怎么實現多線程并發抓取”這篇文章吧。
多線程并發抓取
單線程太慢的話，就需要多線程了，這里給個簡單的線程池模板 這個程序只是簡單地打印了1-10，但是可以看出是并發的。
雖然說Python的多線程很雞肋，但是對于爬蟲這種網絡頻繁型，還是能一定程度提高效率的。
from threading import Thread from Queue import Queue from time import sleep # q是任務隊列 #NUM是并發線程總數 #JOBS是有多少任務 q = Queue() NUM = 2 JOBS = 10 #具體的處理函數，負責處理單個任務 def do_somthing_using(arguments): print arguments #這個是工作進程，負責不斷從隊列取數據并處理 def working(): while True: arguments = q.get() do_somthing_using(arguments) sleep(1) q.task_done() #fork NUM個線程等待隊列 for i in range(NUM): t = Thread(target=working) t.setDaemon(True) t.start() #把JOBS排入隊列 for i in range(JOBS): q.put(i) #等待所有JOBS完成 q.join()
以上是“python怎么實現多線程并發抓取”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
