怎么用python3爬蟲中的GIL修改多線程

小編給大家分享一下怎么用python3爬蟲中的GIL修改多線程，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

我們都知道，比方我有一個4核的CPU，那么這樣一來，在單位時間內每個核只能跑一個線程，然后時間片輪轉切換。但是Python不一樣，它不管你有幾個核，單位時間多個核只能跑一個線程，然后時間片輪轉。看起來很不可思議？但是這就是GIL搞的鬼。任何Python線程執行前，必須先獲得GIL鎖，然后，每執行100條字節碼，解釋器就自動釋放GIL鎖，讓別的線程有機會執行。這個GIL全局鎖實際上把所有線程的執行代碼都給上了鎖，所以，多線程在Python中只能交替執行，即使100個線程跑在100核CPU上，也只能用到1個核。通常我們用的解釋器是官方實現的CPython，要真正利用多核，除非重寫一個不帶GIL的解釋器。我們不妨做個試驗：

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
 
from multiprocessing import Process
 
 
def loop():
    while True:
        pass
 
if __name__ == '__main__':
 
    for i in range(3):
        t = Thread(target=loop)
        t.start()
 
    while True:
        pass

我的電腦是4核，所以我開了4個線程，看一下CPU資源占有率：

我們發現CPU利用率并沒有占滿，大致相當于單核水平。

而如果我們變成進程呢？

我們改一下代碼：

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
 
from multiprocessing import Process
 
 
def loop():
    while True:
        pass
 
if __name__ == '__main__':
 
    for i in range(3):
        t = Process(target=loop)
        t.start()
 
    while True:
        Pass

結果直接飆到了100%，說明進程是可以利用多核的！

如果小伙伴們運行的結果也是cpu百分之百，就說明本次的修改成功了。為了更直觀的讓大家看出前后區別，小編特意準備了前后的對比，說明GIL修改多線程的方法是可行的！

看完了這篇文章，相信你對怎么用python3爬蟲中的GIL修改多線程有了一定的了解，想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！