中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

numpy數組之存取文件的實現示例

發布時間:2020-09-19 20:16:52 來源:腳本之家 閱讀:168 作者:wuliytTaotao 欄目:開發技術

將 numpy 數組存入文件,有多種文件類型可供選擇,對應地就有不同的方法來讀寫。

下面我將介紹讀寫 numpy 的三類文件:

  • txt 或者 csv 文件
  • npy 或者 npz 文件
  • hdf5 文件

通過 numpy 讀寫 txt 或 csv 文件

import numpy as np

a = np.array(range(20)).reshape((4, 5))
print(a)

# 后綴改為 .txt 一樣
filename = 'data/a.csv'
# 寫文件
np.savetxt(filename, a, fmt='%d', delimiter=',')

# 讀文件
b = np.loadtxt(filename, dtype=np.int32, delimiter=',')
print(b)

缺點:

  • 只能保存一維和二維 numpy 數組,當 numpy 數組 a 有多維時,需要將其 a.reshape((a.shape[0], -1)) 后才能用這種方式保存。
  • 不能追加保存,即每次 np.savetxt() 都會覆蓋之前的內容。

通過 numpy 讀寫 npy 或 npz 文件

讀寫 npy 文件

import numpy as np

a = np.array(range(20)).reshape((2, 2, 5))
print(a)

filename = 'data/a.npy'
# 寫文件
np.save(filename, a)

# 讀文件
b = np.load(filename)
print(b)
print(b.shape)

優點:

  • npy 文件可以保存任意維度的 numpy 數組,不限于一維和二維;
  • npy 保存了 numpy 數組的結構,保存的時候是什么 shape 和 dtype,取出來時就是什么樣的 shape 和 dtype。

缺點:

  • 只能保存一個 numpy 數組,每次保存會覆蓋掉之前文件中存在的內容(如果有的話)。

讀寫 npz 文件

import numpy as np

a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20, 44)).reshape(2, 3 ,4)
print('a:\n', a)
print('b:\n', b)

filename = 'data/a.npz'
# 寫文件, 如果不指定key,那么默認key為'arr_0'、'arr_1',一直排下去。
np.savez(filename, a, b=b)

# 讀文件
c = np.load(filename)
print('keys of NpzFile c:\n', c.keys())
print("c['arr_0']:\n", c['arr_0'])
print("c['b']:\n", c['b'])

優點:

  • npy 文件可以保存任意維度的 numpy 數組,不限于一維和二維;
  • npy 保存了 numpy 數組的結構,保存的時候是什么 shape 和 dtype,取出來時就是什么樣的 shape 和 dtype;
  • 可以同時保存多個 numpy 數組;
  • 可以指定保存 numpy 數組的 key,讀取的時候很方便,不會混亂。

缺點:

  • 保存多個 numpy 數組時,只能同時保存,即 np.savez(filename, a, b=b) 。每次保存會覆蓋掉之前文件中存在的內容(如果有的話)。

通過 h6py 讀寫 hdf5 文件

優點:

  • 不限 numpy 數組維度,可以保持 numpy 數組結構和數據類型;
  • 適合 numpy 數組很大的情況,文件占用空間小;
  • 可以通過 key 來訪問 dataset(可以理解為 numpy.array),讀取的時候很方便,不會混亂。
  • 可以不覆蓋原文件中含有的內容。

簡單讀取

import numpy as np
import h6py

a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20)).reshape((1, 4, 5))
print(a)
print(b)

filename = 'data/data.h6'
# 寫文件
h6f = h6py.File(filename, 'w')
h6f.create_dataset('a', data=a)
h6f.create_dataset('b', data=b)
h6f.close()

# 讀文件
h6f = h6py.File(filename, 'r')
print(type(h6f))
# 通過切片得到numpy數組
print(h6f['a'][:])
print(h6f['b'][:])
h6f.close()

通過切片賦值

import numpy as np
import h6py

a = np.array(range(20)).reshape((2, 2, 5))
print(a)

filename = 'data/a.h6'
# 寫文件
h6f = h6py.File(filename, 'w')
# 當數組a太大,需要切片進行操作時,可以不直接對h6f['a']進行初始化;
# 當之后不需要改變h6f['a']的shape時,可以省略maxshape參數
h6f.create_dataset('a', shape=(2, 2, 5), maxshape=(None, 2, 5), dtype=np.int32, compression='gzip')
for i in range(2):
  # 采用切片的形式賦值
  h6f['a'][i] = a[i]
h6f.close()

# 讀文件
h6f = h6py.File(filename, 'r')
print(type(h6f))
print(h6f['a'])
# 通過切片得到numpy數組
print(h6f['a'][:])

同一個 hdf5 文件可以創建多個 dataset,讀取的時候按照 key 來即可。

總結

  • csv 和 txt 只能用來存一維或二維 numpy 數組;
  • npy 用來存單個 numpy 數組,npz 可以同時存多個 numpy 數組,兩者都不限 numpy 維度,且都保持 numpy 數組的 shape 和 dtype,寫文件時若原文件存在只能覆蓋原文件內容;
  • 當 numpy 數組很大時,最好使用 hdf5 文件,hdf5 文件相對更小;
  • 當 numpy 數組很大時,對整個 numpy 數組進行運算容易發生 MemoryError,那么此時可以選擇對 numpy 數組切片,將運算后的數組保存到 hdf5 文件中,hdf5 文件支持切片索引。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

永靖县| 兴义市| 巩留县| 库伦旗| 连平县| 宜丰县| 勃利县| 岫岩| 平昌县| 四川省| 铁力市| 亚东县| 平江县| 镇坪县| 朝阳县| 恩施市| 什邡市| 镇远县| 通州区| 固阳县| 临海市| 郎溪县| 诏安县| 白山市| 辽阳县| 石泉县| 嘉禾县| 马山县| 双城市| 石景山区| 德令哈市| 定州市| 边坝县| 孟津县| 泽州县| 台中市| 东乡县| 武威市| 绥化市| 老河口市| 西吉县|