如何進行Linux設備IO研究與數據庫性能調優

本篇文章給大家分享的是有關如何進行Linux設備IO研究與數據庫性能調優，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

如何在Linux系統里對數據庫及設備IO庫進行調優？

數據庫系統是基于文件系統的，其性能和設備讀寫的機制有密切的關系。和數據庫性能密切相關的文件I/O操作的三個操作：

open               打開文件

write                寫文件

fdatasync        flush操作（將文件緩存刷到磁盤上）。

一、Open操作

open("test.file",O_WRONLY|O_APPDENT|O_SYNC))

系統調用Open會為該進程一個文件描述符fd。這里使用了O_WRONLY|O_APPDENT|O_SYNC打開文件:

1. O_WRONLY表示我們以"寫"的方式打開，告訴內核我們需要向文件中寫入數據；

2. O_APPDENT告訴內核以"追加"的方式寫文件；

3. O_DSYNC告訴內核，當向文件寫入數據的時候，只有當數據寫到了磁盤時，寫入操作才算完成（write才返回成功）。

4. 和O_DSYNC同類的文件標志，還有O_SYNC,O_RSYNC，O_DIRECT。

(1) O_SYNC比O_DSYNC更嚴格，不僅要求數據已經寫到了磁盤，而且對應的數據文件的屬性（例如文件長度等）也需要更新完成才算write操作成功。可見O_SYNC較之O_DSYNC要多做一些操作。

(2) O_RSYNC表示文件讀取時，該文件的OS cache必須已經全部flush到磁盤了；

(3) 如果使用O_DIRECT打開文件，則讀/寫操作都會跳過OS cache，直接在device（disk）上讀/寫。因為沒有了OS cache，所以會O_DIRECT降低文件的順序讀寫的效率。

二、Write操作

write(fd,buf,6)

在使用open打開文件獲得文件描述符之后，我們就可以調用write函數來寫入數據了，write會根據前面的open參數不同，而表現不同。

三、Flush階段

fdatasync(fd) == -1

write操作后，我們還調用了fdatasync來確保文件數據flush到了disk上。fdatasync返回成功后，那么可以認為數據已經寫到了磁盤上。像這樣的flush的函數還有fsync、sync。

1. Fsync和fdatasync的區別等同于O_SYNC和O_DSYNC的區別。

2. Sync函數表示將文件在OS cache中的數據排入寫隊列，并不確認是否真的寫磁盤了，所以sync并不可以靠。

忽略文件打開的過程，通常我們會說“寫文件”有兩個階段，一個是調用write我們稱為寫數據階段（其實是受open的參數影響），調用fsync（或者fdatasync）我們稱為flush階段。Linux上的塊設備的操作可以分為兩類：

***類是使用C標準庫中的fopen/fread/fwrite 系列的函數，我們可以稱其為 buffered I/O。

具體的I/O path如下：

Application<->Library Buffer<->Operation System Cache<->File System/Volume Manager<->Device

library buffer是標準庫提供的用戶空間的buffer，可以通過setvbuf改變其大小。

第二類是使用Linux的系統調用的open/read/write 系列的函數，我們可以稱其為 non-buffered I/O。

Application<-> Operation System Cache <->File System/Volume Manager<->Device

此外，我們可以通過設置open的O_DIRECT 標志來實現Direct I/O （或者叫Raw I/O ）,即繞過OS Cache,直接讀取Device ( that's what we want^o^ ), 等于將OS cache換成自己管理的cache。不過，Linus在郵件列表中建議不這么做，而是使用posix_fadvice, madvice。中表明Direct I/O比buffered I/O的性能高很多。

在MySQL中，參數Innodb_flush_method(Linux)可以設定為：Fdatasync、O_DSYNC、O_DIRECT。我們看看這個三個參數是如何影響程序MySQL對日志和數據文件的操作：

fdatasync被認為是安全的，因為在MySQL總會調用fsync來flush數據。使用O_DSYNC是有些風險的，有些OS會忽略該參數O_SYNC 。

我們看到O_DIRECT和fdatasync和很類似，但是它會使用O_DIRECT 來打開數據文件。有數據表明，如果是大量隨機寫入操作，O_DIRECT 會提升效率。但是順序寫入和讀取效率都會降低。所以使用O_DIRECT需要謹慎。

mysql   innodb 對應相關參數：

innodb_flush_method有三個值，分別是fdatasync，O_DSYNC和O_DIRECT，其中fdatasync是默認值。

它們控制了InnoDB刷新日志和數據的模式。

fdatasync：InnoDB使用fsync()函數去更新日志和數據文件。

O_DSYNC：InnoDB使用O_SYNC模式打開并更新日志文件，用fsync()函數去更新數據文件。

O_DIRECT：InnoDB使用O_DIRECT模式打開數據文件，用fsync()函數去更新日志和數據文件。

我們看到O_DIRECT和fdatasync和很類似，但是它會使用O_DIRECT 來打開數據文件。有數據表明，如果是大量隨機寫入操作，O_DIRECT 會提升效率。但是順序寫入和讀取效率都會降低。所以使用O_DIRECT需要謹慎。

以上就是如何進行Linux設備IO研究與數據庫性能調優，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。