溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容主要講解“JAVA寫文件的基本流程以及page cache自動回寫機制的原理介紹”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“JAVA寫文件的基本流程以及page cache自動回寫機制的原理介紹”吧!
在不使用堆外內存的情況下，java在寫文件時，先將字節寫入JVM的堆內內存中；然后調用jvm的寫文件函數，將字節寫入jvm的堆外內存中，jvm再調用系統內核的寫文件函數，將字節寫入內核的heap中；然后內核將字節寫入page cache中，將page cache狀態改為dirty，根據page cache的回寫機制在合適的時機將字節寫入磁盤。
page cache的回寫時機由系統配置/etc/sysctl.conf 中的幾個參數決定，分別是：
dirty_background_bytes
默認值：0 表示不啟用
當臟頁所占的內存大小超過dirty_background_bytes時，內核的pdflush線程會從后臺開始回寫臟頁，不會影響應用程序的后序IO操作。
dirty_background_ratio
默認值 ：10
參數意義：當臟頁所占的百分比（相對于所有可用內存，即空閑內存頁+可回收內存頁）達到dirty_background_ratio時內核的pdflush線程從后臺開始回寫臟頁，不會影響應用程序的后序IO操作。增大會使用更多內存用于緩沖，可以提高系統的讀寫性能。當需要持續、恒定的寫入場合時，應該降低該數值。
注意：dirty_background_bytes參數和dirty_background_ratio參數是相對的，只能指定其中一個。當其中一個參數文件被寫入時，會立即開始計算臟頁限制，并且會將另一個參數的值清零。
dirty_bytes
默認值：0 表示不啟用
當臟頁所占的內存數量達到dirty_bytes時，內核將臟頁中的數據刷入磁盤并阻塞后序的IO操作。
注意：dirty_bytes參數和dirty_ratio參數是相對的，只能指定其中一個。當其中一個參數文件被寫入時，會立即開始計算臟頁限制，并且會將另一個參數的值清零
dirty_ratio
默認值：20
參數意義：當臟頁所占的百分比（相對于所有可用內存，即空閑內存頁+可回收內存頁）達到dirty_ratio時，內核將臟頁中的數據刷入磁盤并阻塞后序的IO操作。
dirty_background_ratio與dirty_ratio比較
dirty_ratio是屬于強制性的回寫,也就是說當一個內存區的臟頁達到這個比例時就會觸發內核內存管理把臟頁強制回寫的流程,但dirty_background_ratio是屬于軟性的行為,因為這是透過pdflush內核線程進行的流程,可以在后臺執行對這些臟頁面回寫,并不會因此影響到當下正在執行中的過程。 所以看Linux內核中預設的比例是臟頁達到5%的比例時就會先透過pdflush內核線程進行回寫,當臟頁達到10%比例時,就等于是一個很嚴重的狀況,此時就會在平衡臟頁面流程中觸發強制的回寫,讓系統可以回復到原本預設合理的狀態。
dirty_expire_centisecs
默認值：3000
參數意義：用來指定臟數據能存活的時間。指定的值是按100算做一秒計算。只有當超過這個值后，才會被內核進程pdflush寫到磁盤。
dirty_writeback_centisecs
默認值：500
參數意義：pdflush回寫的頻率，每次的喚醒的間隔，是以數字100算做1秒。如果將這項值設為500就相當5秒喚醒pdflush進程。如果將這項值設為0就表示完全禁止定期回寫數據。
drop_caches
向/proc/sys/vm/drop_caches文件中寫入數值可以使內核釋放page cache，dentries和inodes緩存所占的內存。
只釋放pagecache：
echo 1 > /proc/sys/vm/drop_caches
只釋放dentries和inodes緩存：
echo 2 > /proc/sys/vm/drop_caches
釋放pagecache、dentries和inodes緩存：
echo 3 > /proc/sys/vm/drop_caches
這個操作不是破壞性操作，臟的對象（比如臟頁）不會被釋放，因此要首先運行sync命令。
注：這個只能是手動釋放
采用javaBIO不斷向一個文件寫入數據，通過pcstat觀察page cache的大小。文件初始狀態：
[root@node01 ~]# ll test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 19:58 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
將臟頁閾值設置為10MB，臟頁存活時間設置為5000s，當臟頁大小不足10MB時，絕對不會被刷入磁盤，當臟頁大小超過10MB,但是存活時間不超過5000s時，滿足dirty_background_bytes的條件，被刷入磁盤。
#修改系統配置 [root@node01 ~]# vi /etc/sysctl.conf ... #便于測試，設為10485760 10mb vm.dirty_background_bytes = 10485760 #便于測試，設為104857600 100mb vm.dirty_bytes = 104857600 #便于測試，設為500000 5000s vm.dirty_writeback_centisecs = 500000 #便于測試，設為30000 5min vm.dirty_expire_centisecs = 30000 #加載系統配置 [root@node01 ~]# sysctl -p
當page cache大小超過10mb前，停止寫入，關閉電源，重啟設備。
關機前page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:20 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 1660 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）
重啟后page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 20:20 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
之前寫入的數據全部丟失，由于沒有達到后臺自動刷入磁盤的閾值（dirty_background_bytes），page cache內的數據丟失。
當page cache大小超過10mb后，停止寫入，關閉電源，重啟設備。
關機前page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 37M Aug 1 20:26 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 37985420 | 9274 | 9274 | 100.000 | +----------+----------------+------------+-----------+---------+
掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）
重啟后page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 30M Aug 1 20:26 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 31035392 | 7577 | 0 | 000.000 | +----------+----------------+------------+-----------+---------+
之前寫入的數據部分丟失，每次達到后臺自動刷入磁盤的閾值（dirty_background_bytes）時內核都會進行一次刷入操作，而沒有達到閾值的部分就會丟失。關機前37M，關機后30M，自動刷入閾值設置為10M，37-10=7M，這7M數據沒有被刷入磁盤，重啟后丟失。
將臟頁閾值設置為100MB，檢測頻率設置為1s，臟頁存活時間設置為15s。這樣可以達到這樣一個測試目的，當我的page cache大小未到達100MB時，由于超過了存活時間15s,檢測的又很及時，幾乎可以被全部刷入磁盤。為什么說幾乎呢？因為不管怎么樣，靠檢測頻率自動刷入機制終究會丟失檢測真空期的數據。臟頁在每次刷入磁盤后重寫前都是干凈的狀態。
#修改系統配置 [root@node01 ~]# vi /etc/sysctl.conf ... #便于測試，設為104857600 100mb vm.dirty_background_bytes = 104857600 #便于測試，設為104857600 100mb vm.dirty_bytes = 104857600 #便于測試，設為1500 15s vm.dirty_writeback_centisecs = 1500 #便于測試，設為100 1s vm.dirty_expire_centisecs = 100 #加載系統配置 [root@node01 ~]# sysctl -p
當page cache大小超過100mb前，停止寫入,未超過15s，關閉電源，重啟設備。
關機前page cache狀態及文件大小。
-rw-r--r--. 1 root root 150 Aug 1 20:44 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 150 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）
重啟后page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 20:44 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
之前寫入的數據全部丟失，由于沒有超過臟頁存活時間，page cache內的數據丟失。
當page cache存活超過15s后，關閉電源，重啟設備。
關機前page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:48 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 1680 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）
重啟后page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:48 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 1680 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
超過15s且被檢測到的數據全部保留
將臟頁閾值設置為100MB，檢測頻率設置為15s，臟頁存活時間設置為1s。這樣可以達到這樣一個測試目的，當我的page cache大小未到達100MB時，且超過了存活時間1s,由于檢測的不及時，導致超過存活時間的數據還是沒有被刷入磁盤。
#修改系統配置 [root@node01 ~]# vi /etc/sysctl.conf ... #便于測試，設為104857600 100mb vm.dirty_background_bytes = 104857600 #便于測試，設為104857600 100mb vm.dirty_bytes = 104857600 #便于測試，設為100 1s vm.dirty_writeback_centisecs = 100 #便于測試，設為1500 15s vm.dirty_expire_centisecs = 1500 #加載系統配置 [root@node01 ~]# sysctl -p
當page cache大小超過100mb前，停止寫入,未超過15s，關閉電源，重啟設備。
關機前page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 550 Aug 1 21:02 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 550 | 1 | 1 | 100.000 | +----------+----------------+------------+-----------+---------+
掐斷電源，重啟。（注意，這里不能按正常流程重啟電源）
重啟后page cache狀態及文件大小。
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 21:04 test.txt +----------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------+----------------+------------+-----------+---------| | test.txt | 0 | 0 | 0 | NaN | +----------+----------------+------------+-----------+---------+
之前寫入的數據全部丟失，雖然超過臟頁存活時間，但是沒有到檢測時間，page cache內的數據丟失。
到此，相信大家對“JAVA寫文件的基本流程以及page cache自動回寫機制的原理介紹”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
