中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Linux文件系統中的NiLFS(2)和exofs怎么使用

發布時間:2022-01-14 16:41:43 來源:億速云 閱讀:172 作者:iii 欄目:云計算

本篇內容介紹了“Linux文件系統中的NiLFS(2)和exofs怎么使用”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

使用日志和對象發展 Linux 文件系統

Linux? 在文件系統領域不斷創新。它支持任何操作系統上的眾多不同文件系統。它還提供尖端文件系統技術。Linux 最近又引入兩種新的文件系統,它們是 NiLFS(2) 日志結構文件系統和 exofs 基于對象的存儲系統。探索這兩種文件系統背后的動機和它們的優點。

在 IBM Bluemix 云平臺上開發并部署您的下一個應用。

現在就開始免費試用

一種新的 Linux 文件系統的公布總是令人既興奮又恐懼。興奮是因為文件系統意味著新的發展空間。恐懼是因為文件系統在早期還是試驗性的,尚未迎來黃金時期。但是有時候,新文件系統的公布也意味著對 Linux 未來的投資,而最近 2.6.30-rc1 的公布確實標示著令人感興趣的前景。在過去幾個季度,Linux 主要公布了三種文件系統。2008 年底引入了 B-Tree File System(Btrf),最近又引入了兩種獨特的文件系統:NiLFS(2) 和 exofs。

文件系統背景知識

我們首先了解這些非傳統文件系統,然后探索 NiLFS(2) 和 exofs 的細節。

日志結構文件系統

日志結構文件系統和 SSDs

日志結構文件系統是用于由 NAND 閃存組成的固態硬盤(solid-state disks,SSD)的理想格式。閃存的基本問題是寫擦周期數量有限。日志可以寫到整個設備上,盡量寫滿設備,從而最大程度地減少擦的周期。由于這個原因,日志結構文件系統在 SSD 上(連續寫)表現非常好,并且提供更好的損耗均衡。

日志結構文件系統在現代計算系統中有豐富的歷史。第一個日志結構文件系統由 John Ousterhout 和 Fred Douglis 在 1988 年提出,隨后由 Sprite 操作系統在 1992 年實現。顧名思義,日志結構文件系統將文件系統視為一個循環日志,將新的數據和文件系統元數據寫到日志的頭部,并且從尾部回收空閑空間(如圖 1 所示)。這意味著數據可能在日志中出現兩次或更多次,但是由于日志是按時間先后順序發展的,最近的數據被視作活動數據。日志中保留數據的多個副本可以帶來一些有趣的優點,后面將詳細談到這些優點。

圖 1. 日志結構文件系統的示意圖

Linux文件系統中的NiLFS(2)和exofs怎么使用      

與其說日志結構方法是一個賣點,不如說它是體系結構上的一個細節,不過這種方法確實有一些獨特的優點。一個關鍵的優點在于系統崩潰后的數據恢復,當使用日志結構方法時,這種恢復更簡單。

另一個優點是利用底層存儲系統挖掘性能。您也許還記得,連續寫到硬盤比隨機 I/O 要快得多。如果所有的寫都是連續的,那么查找的開銷隨之減少,從而可以獲得更快的硬盤 I/O,進而得到更快的文件系統。

基于對象的存儲系統

傳統存儲系統依賴于磁盤驅動器和它們的本地接口持久地存儲數據。這些接口依賴于塊存儲語義,大小固定的數據小塊與它們的映射(文件系統元數據)相關聯。對象存儲系統則采用截然不同的方法:它們不是管理大小固定的數據塊,而是管理大小可變的對象以及相關聯的元數據(提供關于對象的系統級信息)。

對象存儲設備和標準

對象存儲設備基于 T-10 Object Storage Devices(OSD)標準。該規范詳細描述了用于支持對象級管理的對標準 SCSI 命令集的擴展。除了定義對象級訪問方法外,該規范還包括安全性和元數據管理。

對象存儲系統是解決包含多租戶和安全性的可伸縮存儲的唯一途徑。構建作為一種標準的 OSD(見側邊欄)的方式有很多種。例如可以使用遵從 OSD 的組件(例如 OSD 驅動器和啟動器)或更高級的組件(在傳統驅動器上構建 OSD 行為的目標系統)。但是,基于塊的存儲系統與基于對象的存儲系統之間的根本區別在于,在基于塊的存儲系統中,是從塊集合創建對象的,塊中既包括數據,又包括使用某種協議與塊通信的元數據。而在基于對象的存儲系統中,是與對象和它們的關聯元數據通信的(如圖 2 所示)。于是,對象存儲設備成為對象的平面名稱空間(flat namespace),必要時,在存儲系統棧中的更高層建立層次結構。

圖 2. 基于塊的存儲系統與基于對象的存儲系統

Linux文件系統中的NiLFS(2)和exofs怎么使用      

本文探索基于對象的存儲系統上的一種文件系統的實現。

回頁首

日志結構文件系統的一種新的實現:NiLFS(2)

NiLFS(2) 是日本 Nippon Telegraph and Telephone(NTT)開發的一種日志結構文件系統的第二次迭代。該文件系統的開發非常活躍,最近已進入主流 Linux 內核(另外還有 NetBSD 內核)。第一版的 NILFS(version 1)出現于 2005 年,這個版本沒有任何形式的垃圾收集。在 2007 年,第 2 版首次發布,其中包括一個垃圾收集器,并且可以創建和維護多個快照。今年(2009),NiLFS(2) 文件系統進入主流內核,可通過安裝它的可裝載模塊方便地啟用它。

NiLFS(2) 一個有趣的方面是,它支持連續快照(continuous snap-shotting)技術。由于 NILFS 是基于日志結構的,新數據被寫到日志的頭部,而舊數據仍然保留(直到需要對舊數據進行垃圾收集)。由于舊數據仍被保留,因此可以在時間線上回滾,以檢查文件系統的不同時期(epoch)。在 NiLFS(2) 中,這些時期被稱作檢查點,它們是文件系統中不可或缺的一部分。每當發生改變時,NiLFS(2) 都會創建這些檢查點,但是也可以強制創建檢查點。

包含快照的文件系統

NiLFS(2) 是眾多包含快照行為的文件系統中的一種。其他包含快照的文件系統有 ZFS、LFS 和 Ext3cow。

可以在快照中查看和更改檢查點(恢復點)。可以像其他文件系統一樣將快照掛載到 Linux 文件系統空間中,但是目前它們還是只讀的。這一點非常有用,因為可以掛載快照,然后恢復之前刪除的文件,或者檢查之前版本的文件。

除了連續快照外,NiLFS(2) 還具有很多其他的優點。從可用性的角度看,最重要的優點是快速重啟。如果當前檢查點失效,文件系統只需回滾到上一個有效的檢查點,重新獲得有效的文件系統。這顯然好于 fsck 進程。

NiLFS(2) 的挑戰

NiLFS(2) 版本和內核

這個 NiLFS(2) 演示 是在 2.6.27 Linux 內核中完成的。2.6.30-rc1 內核在 mainline 中包括 NiLFS(2),但是在這里,NILFS 文件系統模塊和工具是從源代碼安裝的。請參閱 參考資料 了解關于如何將 NiLFS(2) 安裝到內核中的信息。

雖然連續快照是一個很好的特性,但是也有一定的副作用。前面已經提到,它的優點在于它是日志結構的,采用連續寫的方式(減少物理磁盤的查找行為),因此非常快。而缺點在于,它是日志結構的,所以需要垃圾收集,以便清理舊的數據和元數據。一般情況下,這種文件系統非常快,但是一旦需要進行垃圾收集,性能就會慢下來。

探索 NiLFS(2)

我們來看看 NiLFS(2) 的實際應用。這個演示展示如何在循環設備上創建一個 NiLFS(2) 文件系統(測試文件系統的一種簡單方法),然后看看 NiLFS(2) 的一些特性。首先安裝 NiLFS(2) 內核模塊:

$ sudo modprobe nilfs2 $

接下來,創建一個文件,該文件將包含文件系統(主機操作系統上的一個區域,可通過循環設備將它掛載為操作系統本身的文件系統),然后使用 mkfs 在其中構建 NiLFS(2) 文件系統(如圖 1 所示)。

清單 1. 準備 NiLFS(2) 文件系統
$ dd if=/dev/zero of=/tmp/disk.img bs=384M count=1 1+0 records in
1+0 records out
402653184 bytes (403 MB) copied, 60.7253 s, 6.6 MB/s
$ mkfs.nilfs2 /tmp/disk.img mkfs.nilfs2 ver 2.0
Start writing file system initial data to the device
       Blocksize:4096  Device:/tmp/disk.img  Device Size:402653184
File system initialization succeeded !!
$

現在,您有了自己的以 NiLFS(2) 文件系統格式初始化的磁盤鏡像。接下來,使用循環設備將該文件系統掛載到一個掛載點上(如清單 2 所示)。注意,當掛載文件系統時,會啟動一個用戶空間程序 nilfs_cleanerd,以提供垃圾收集服務。

清單 2. 使用循環設備掛載 NiLFS(2)
$ sudo losetup /dev/loop0 /tmp/disk.img $ sudo mkdir /mnt/nilfs $ sudo mount -t nilfs2 /dev/loop0 /mnt/nilfs/ mount.nilfs2: WARNING! - The NILFS on-disk format may change at any time.
mount.nilfs2: WARNING! - Do not place critical data on a NILFS filesystem.
$ ls /mnt/nilfs $

現在,在該文件系統中添加一些文件,然后使用 lscp 命令列出當前可用的檢查點(如清單 3 所示)。使用 mkcp 命令定義一個快照,然后再次查看檢查點。第二次執行 lscp 命令時可以看到新創建的快照(所有檢查點和快照都有一個 CNO,或檢查點號)。

清單 3. 列出檢查點和創建快照
$ cd /mnt/nilfs $ sudo touch file1.txt file2.txt $ lscp CNO        DATE     TIME  MODE  FLG   NBLKINC       ICNT
                   1  2009-08-21 22:29:31   cp    -         11          3
                   2  2009-08-21 22:36:44   cp    -         11          5
$ sudo mkcp -s $ lscp CNO        DATE     TIME  MODE  FLG   NBLKINC       ICNT
                   1  2009-08-21 22:29:31   cp    -         11          3
                   2  2009-08-21 22:36:44   ss    -         11          5
                   3  2009-08-21 22:39:47   cp    i          7          5
$

現在有了一個快照,接下來同樣使用 touch 命令再將一些文件添加到當前文件系統中(如清單 4 所示)。

清單 4. 將更多文件添加到 NiLFS(2) 文件系統中
$ sudo touch file3.txt file4.txt $ ls file1.txt  file2.txt  file3.txt  file4.txt
$

現在,掛載快照作為一個只讀文件系統。這和之前的掛載類似,但是需要指定掛載的快照。為此可以使用 cp 選項。從之前的 lscp 命令中可以看出,快照是 CNO=2。在 mount 命令中使用這個 CNO 掛載只讀文件系統。掛載后,首先使用 ls 命令列出掛載的讀/寫文件系統,然后查看所有的文件。在只讀快照中,只能看到兩個文件,這兩個文件是創建快照時存在的兩個文件(如清單 5 所示)。

清單 5. 掛載只讀 NiLFS(2) 快照
$ sudo mkdir /mnt/nilfs-ss2 $ sudo mount.nilfs2 -r /dev/loop0 /mnt/nilfs-ss2/ -o cp=2 $ ls /mnt/nilfs file1.txt  file2.txt  file3.txt  file4.txt
$ ls /mnt/nilfs-ss2/ file1.txt  file2.txt
$

注意,一旦將檢查點轉換為快照,這些快照將持久存在。當需要清理出空間時,檢查點會被從文件系統中回收,而快照可以持久存在。

該演示展示了用于 NiLFS(2) 的兩個命令行實用程序:lscp(列出檢查點和快照)和 mkcp(創建檢查點或快照)。有一個名為 chcp 的實用程序,用于將檢查點轉換為快照,或者將快照轉換為檢查點;還有一個 rmcp 實用程序,用于使檢查點或快照無效。

鑒于這種文件系統是臨時性的,NTT 已經為將來考慮了一些非常有創新性的工具 — 例如,tls(臨時 ls)、tdiff(臨時 diff)和 tgrep(臨時 grep)。下一步引入基于時間的功能似乎是合乎情理的。

回頁首

Extended Object File System(exofs)

Extended Object File System(exofs)是構建在對象存儲系統上的一種傳統的 Linux 文件系統。exofs 最初由 IBM 的 Avnishay Traeger 開發,當時被稱作 OSD 文件系統,或稱作 osdfs。然后,Panasas(一家構建對象存儲系統的公司)接管該項目,并將它重新命名為 exofs(因為它的祖先來自 ext2 文件系統)。

對象存儲系統上的文件系統

從概念上講,對象存儲系統可以視作對象的平面名稱空間和它們的關聯元數據。而在基于塊的傳統存儲系統,元數據要占用一些塊,以提供語義黏合劑。圖 3 顯示 exofs 的架構圖。Virtual File System Switch(VFS)為 exofs 提供一條途徑,在其中,exofs 通過一個本地 OSD 啟動器與對象存儲系統通信。OSD 啟動器實現 OSD T-10 標準 SCSI 命令集。

圖 3. exofs/OSD 生態系統架構圖

Linux文件系統中的NiLFS(2)和exofs怎么使用      

exofs 背后的思想是在 OSD 后備存儲上提供一個傳統文件系統。這樣一來,就更容易遷移到對象級存儲,因為提供的文件系統本身是傳統的文件系統。

文件系統映射

OSD 中的每個對象由平面名稱空間中一個 64 位的標識符表示。為了將標準 POSIX 接口疊加到對象存儲系統上,需要一個映射。exofs 提供一個簡單的映射,這種映射還是可伸縮、可擴展的。

文件系統中的文件由 inode 唯一地表示。exofs 將 inode 映射到對象系統中的對象標識符(OID)。在對象系統中,使用對象表示文件系統的所有元素。文件被直接映射到對象,目錄也是文件,只不過是引用目錄中所含文件的文件(采用文件名和 inode-OID 對的形式)。圖 4 簡明地闡釋了這一點。另外還有一些其他的對象,用于支持 inode 位圖(用于 inode 分配)等。

圖 4. OSD 表示法示意圖

Linux文件系統中的NiLFS(2)和exofs怎么使用      

用于表示對象空間中的對象的 OID 長度為 64 位,因此支持非常多的對象。

為什么選擇對象存儲?

對象存儲是一個有趣的思想,可大幅提高系統的可伸縮性。它將文件系統的一些部分從主機轉移到存儲子系統中。為此需付出一定的代價,但是通過將文件系統的一些部分分布到多個端點,可以分散工作負載,使基于對象的方法更易于伸縮到更大的存儲系統。主機操作系統不再需要考慮塊到文件的映射,存儲設備本身會提供這種映射,因此主機可以在文件級進行操作。

對象存儲系統還提供查詢可用元數據的能力。這可以帶來更多的好處,因為搜索能力可以分布到端點對象系統。

最近,對象存儲在云存儲領域回歸。云存儲提供商(將存儲作為服務出售)以對象的形式提供他們的存儲,而不是以傳統的塊 API 的形式提供存儲。這些提供商實現用于對象傳輸、管理和元數據管理的 API。

回頁首

“Linux文件系統中的NiLFS(2)和exofs怎么使用”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

丽水市| 临沭县| 麦盖提县| 合水县| 呼伦贝尔市| 合阳县| 佳木斯市| 枣阳市| 滨州市| 利津县| 名山县| 常德市| 滁州市| 双鸭山市| 民和| 峡江县| 尖扎县| 江达县| 光泽县| 韶关市| 裕民县| 砀山县| 光山县| 聂拉木县| 东阳市| 铅山县| 徐闻县| 乌苏市| 宾川县| 静海县| 庄河市| 喀喇| 平利县| 嵩明县| 镇康县| 崇左市| 正阳县| 武强县| 乐都县| 福州市| 土默特右旗|