溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹Python處理大數據時有哪些缺點 ，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！
我很喜歡用python，用python處理數據是家常便飯，從事的工作涉及nlp，算法，推薦，數據挖掘，數據清洗，數據量級從幾十k到幾T
不等，我來說說吧
百萬級別數據是小數據，python處理起來不成問題，python處理數據還是有些問題的。
Python處理大數據的劣勢：
1.python線程有gil，通俗說就是多線程的時候只能在一個核上跑，浪費了多核服務器。在一種常見的場景下是要命的：并發單元之間有巨
大的數據共享或者共用（例如大dict），多進程會導致內存吃緊，多線程則解決不了數據共享的問題，單獨的寫一個進程之間負責維護讀
寫這個數據不僅效率不高而且麻煩
2.python執行效率不高，在處理大數據的時候，效率不高，這是真的，pypy（一個jit的python解釋器，可以理解成腳本語言加速執行的
東西）能夠提高很大的速度，但是pypy不支持很多python經典的包，例如numpy（順便給pypy做做廣告，土豪可以捐贈一下PyPy -
Call for donations）
3.絕大部分的大公司，用java處理大數據不管是環境也好，積累也好，都會好很多。
Python處理數據的優勢（不是處理大數據）：
1. 異常快捷的開發速度，代碼量巨少 2. 豐富的數據處理包，不管正則也好，html解析啦，xml解析啦，用起來非常方便 3. 內部類型使用成本巨低，不需要額外怎么操作（java，c++用個map都很費勁） 4. 公司中，很大量的數據處理工作工作是不需要面對非常大的數據的 5. 巨大的數據不是語言所能解決的，需要處理數據的框架（hadoop， mpi。。。。）雖然小眾，但是python還是有處理大數據的框 架的，或者一些框架也支持python 6. 編碼問題處理起來太太太方便了
綜上所述：
1. python可以處理大數據
2. python處理大數據不一定是最優的選擇
3. python和其他語言（公司主推的方式）并行使用是非常不錯的選擇
4. 因為開發速度，你如果經常處理數據，而且喜歡linux終端，而且經常處理不大的數據（100m一下），最好還是學一下python。
以上是Python處理大數據時有哪些缺點 的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
