溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容介紹了“python怎么實現單機處理大文件”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！
下面的討論基于的假定：可以單獨處理一行數據，行間數據相關性為零。
方法一：
僅使用 Python 內置模板，逐行讀取到內存。
使用 yield，好處是解耦讀取操作和處理操作：
def python_read(filename):
with open(filename,'r',encoding='utf-8') as f:
while True:
line = f.readline()
if not line:
return
yield line
以上每次讀取一行，逐行迭代，逐行處理數據
if __name__ == '__main__':
g = python_read('./data/movies.dat')
for c in g:
print(c)
# process c
方法二：
方法一有缺點，逐行讀入，頻繁的 IO 操作拖累處理效率。是否有一次 IO ，讀取多行的方法？
pandas 包 read_csv 函數，參數有 38 個之多，功能非常強大。
關于單機處理大文件，read_csv 的 chunksize 參數能做到，它被設置為 5， 意味著一次讀取 5 行。
def pandas_read(filename,sep=',',chunksize=5):
reader = pd.read_csv(filename,sep,chunksize=chunksize)
while True:
try:
yield reader.get_chunk()
except StopIteration:
print('---Done---')
break
使用如同方法一：
if __name__ == '__main__':
g = pandas_read('./data/movies.dat',sep="::")
for c in g:
print(c)
# process c“python怎么實現單機處理大文件”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
