您好,登錄后才能下訂單哦!
小編給大家分享一下怎么用C寫一個web服務器之I/O多路復用,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
接觸過 socket 編程的同學應該都知道一些 I/O 模型的概念,linux 中有阻塞 I/O、非阻塞 I/O、I/O 多路復用、信號驅動 I/O 和 異步 I/O 五種模型。
其他模型的具體概念這里不多介紹,只簡單地提一下自己理解的 I/O 多路復用:簡單的說就是由一個進程來管理多個 socket,即將多個 socket 放入一個表中,在其中有 socket 可操作時,通知進程來處理, I/O 多路復用的實現方式有 select、poll 和 epoll。
在 linux下,通過文件描述符(file descriptor, 下 fd)來進行 socket 的操作,所以下文均是對 fd 操作。
首先說最開始實現的 select 的問題:
select 打開的 fd 最大數目有限制,一般為1024,在當前計算系統的并發量前顯然有點不適用了。
select 在收到有 fd 可操作的通知時,是無法得知具體是哪個 fd 的,需要線性掃描 fd 表,效率較低。
當有 fd 可操作時,fd 會將 fd 表復制到內核來遍歷,消耗也較大。
隨著網絡技術的發展,出現了 poll:poll 相對于 select,使用 pollfd 表(鏈表實現) 來代替 fd,它沒有上限,但受系統內存的限制,它同樣使用 fd 遍歷的方式,在并發高時效率仍然是一個問題。
最終,epoll 在 Linux 2.6 的內核面世,它使用事件機制,在每一個 fd 上添加事件,當fd 的事件被觸發時,會調用回調函數來處理對應的事件,epoll 的優勢總之如下:
只關心活躍的 fd,精確定位,改變了poll的時間效率 O(n) 到 O(1);
fd 數量限制是系統能打開的最大文件數,會受系統內存和每個 fd 消耗內存的影響,以當前的系統硬件配置,并發數量絕對不是問題。
內核使用內存映射,大量 fd 向內核態的傳輸不再是問題。
為了一步到位,也是為了學習最先進的I/O多路復用模型,直接使用了 epoll 機制,接下來介紹一下 epoll 相關基礎和自己服務器的實現過程。
epoll 需要引入<sys/epoll.h>文件,首先介紹一下 epoll 系列函數:
int epoll_create(int size);
創建一個 epoll 實例,返回一個指向此 epoll 實例的文件描述符,當 epoll 實例不再使用時,需要使用close()方法來關閉它。
在最初的實現中, size 作為期望打開的最大 fd 數傳入,以便系統分配足夠大的空間。在最新版本的內核中,系統內核動態分配內存,已不再需要此參數了,但為了避免程序運行在舊內核中會有問題,還是要求此值必須大于0;
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epfd 是通過 epoll_create 返回的文件描述符
op 則是文件描述符監聽事件的操作方式,EPOLL_CTL_ADD/EPOLL_CTL_MOD/EPOLL_CTL_DEL 分別表示添加、修改和刪除一個監聽事件。
fd 為要監聽的文件描述符。
event 為要監聽的事件,可選事件和行為會在下面描述
它的結構如下:
typedef union epoll_data { void *ptr; int fd; uint32_t u32; uint64_t u64; } epoll_data_t; struct epoll_event { uint32_t events; /* epoll事件 */ epoll_data_t data; /* 事件相關數據 */ };
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); 監聽 epoll 事件:
events 是 epoll 事件數組,epoll 事件的結構上面已經介紹過。
maxevents 是一次監聽獲取到的最大事件數目。
timeout 是一次監聽中獲取不到事件的最長等待時間,設置成 -1 會一直阻塞等待,0 則會立即返回。
在 epoll_ctl 的 event 參數中,事件 events 有如下可選項:
EPOLLIN(可讀)、EPOLLOUT(可寫)、EPOLLRDHUP(連接關閉)、EPOLLPRI(緊急數據可讀),此外 EPOLLERR(錯誤),EPOLLHUP(連接掛斷)事件會被 epoll 默認一直監聽。
除了設置事件外,還可以對監聽的行為設置:
level trigger:此行為被 epoll 默認支持,不必設置。在 epoll_wait 得到一個事件時,如果應用程序不處理此事件,在 level trigger 模式下,epoll_wait 會持續觸發此事件,直到事件被程序處理;
EPOLLET(edge trigger):在 edge trigger 模式下,事件只會被 epoll_wait 觸發一次,如果用戶不處理此事件,不會在下次 epoll_wait 再次觸發。在處理得當的情況下,此模式無疑是高效的。需要注意的是此模式需求 socket 處理非阻塞模式,下面會實現此模式。
EPOLLONESHOT:在單次命中模式下,對同一個文件描述符來說,同類型的事件只會被觸發一次,若想重復觸發,需要重新給文件描述符注冊事件。
EPOLLWAKEUP:3.5版本加入,如果設置了單次命中和ET模式,而且進程有休眠喚醒能力,當事件被掛起和處理時,此選項確保系統不進入暫停或休眠狀態。 事件被 epoll_wait 調起后,直到下次 epoll_wait 再次調起此事件、文件描述符被關閉,事件被注銷或修改,都會被認為是處于處理中狀態。
EPOLLEXCLUSIVE:4.5版本加入,為一個關聯到目標文件描述符的 epoll 句柄設置獨占喚醒模式。如果目標文件描述符被關聯到多個 epoll 句柄,當有喚醒事件發生時,默認所有 epoll 句柄都會被喚醒。而都設置此標識后,epoll 句柄之一被喚醒,以避免“驚群”現象。
當監聽事件和行為需求同時設置時,使用運算符 |即可。
使用 epoll 時的服務器受理客戶端請求邏輯如下:
1.創建服務器 socket,注冊服務器 socket 讀事件;
2.客戶端連接服務器,觸發服務器 socket 可讀,服務器創建客戶端 socket,注冊客戶端socket 讀事件;
3.客戶端發送數據,觸發客戶端 socket 可讀,服務器讀取客戶端信息,將響應寫入 socket;
4.客戶端關閉連接,觸發客戶端 socket 可讀,服務器讀取客戶端信息為空,注銷客戶端 socket 讀事件;
erver_fd = server_start(); epoll_fd = epoll_create(FD_SIZE); epoll_register(epoll_fd, server_fd, EPOLLIN|EPOLLET);// 這里注冊socketEPOLL事件為ET模式 while (1) { event_num = epoll_wait(epoll_fd, events, MAX_EVENTS, 0); for (i = 0; i < event_num; i++) { fd = events[i].data.fd; // 如果是服務器socket可讀,則處理連接請求 if ((fd == server_fd) && (events[i].events == EPOLLIN)){ accept_client(server_fd, epoll_fd); // 如果是客戶端socket可讀,則獲取請求信息,響應客戶端 } else if (events[i].events == EPOLLIN){ deal_client(fd, epoll_fd); } else if (events[i].events == EPOLLOUT) // todo 數據過大,緩沖區不足的情況待處理 continue; } }
需要注意的是,客戶端socket在可讀之后也是立刻可寫的,我這里直接讀取一次請求,然后將響應信息 write 進去,沒有考慮讀數據時緩沖區滿的問題。
這里提出的解決方案為:
1.設置一個客戶端 socket 和 buffer 的哈希表;
2.在讀入一次信息緩沖區滿時 recv 會返回 EAGIN 錯誤,這時將數據放入 buffer,暫時不響應。
3.后續讀事件中讀取到數據尾后,再注冊 socket 可寫事件。
4.在處理可寫事件時,讀取 buffer 內的全部請求內容,處理完畢后響應給客戶端。
5.最后注銷 socket 寫事件。
上文說過,ET模式是 epoll 的高效模式,事件只會通知一次,但處理良好的情況下會更適用于高并發。它需要 socket 在非阻塞模式下才可用,這里我們實現它。
sock_fd = socket(AF_INET, SOCK_STREAM, 0); // 獲取服務器socket的設置,并添加"不阻塞"選項 flags = fcntl(sock_fd, F_GETFL, 0); fcntl(sock_fd, F_SETFL, flags|O_NONBLOCK); ..... // 這里注冊服務器socket EPOLL事件為ET模式 epoll_register(epoll_fd, server_fd, EPOLLIN|EPOLLET);
我將處理事件注掉后使用一次客戶端連接請求進行了測試,很清晰地說明了 ET模式下,事件只觸發一次的現象,前后對比圖如下:
以上是“怎么用C寫一個web服務器之I/O多路復用”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。