epoll模型是在單個線程中偵聽多個套接字fd行為的一種IO多路復用模型。主要有epoll_create,epoll_ctl,epoll_wait三個接口。
一、epoll的使用
1. 創(chuàng)建epoll句柄
int epfd = epoll_create(intsize);
創(chuàng)建一個epoll的句柄,size用來告訴內核這個監(jiān)聽的數(shù)目一共有多大。size就是你在這個epoll fd上能關注的最大socket fd數(shù)。
2.將被監(jiān)聽的描述符添加到epoll句柄或從epool句柄中刪除或者對監(jiān)聽事件進行修改。
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)
參數(shù):
epfd:由 epoll_create 生成的epoll專用的文件描述符;
op:要進行的操作例如注冊事件,可能的取值EPOLL_CTL_ADD 注冊、EPOLL_CTL_MOD 修 改、EPOLL_CTL_DEL 刪除
fd:關聯(lián)的文件描述符;
event:指向epoll_event的指針;
如果調用成功返回0,不成功返回-1
第一個參數(shù)是epoll_create()的返回值,
第二個參數(shù)表示動作,用三個宏來表示:
- EPOLL_CTL_ADD: 注冊新的fd到epfd中;
- EPOLL_CTL_MOD: 修改已經(jīng)注冊的fd的監(jiān)聽事件;
- EPOLL_CTL_DEL: 從epfd中刪除一個fd;
第三個參數(shù)是需要監(jiān)聽的fd,
第四個參數(shù)是告訴內核需要監(jiān)聽什么事件,structepoll_event結構如下:
typedef union epoll_data {
void *ptr; //指向要附加的數(shù)據(jù)結構
int fd; //一般設為監(jiān)視的fd
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;
struct epoll_event {
/* Epoll events
events可以是以下幾個宏的集合:
EPOLLIN: 觸發(fā)該事件,表示對應的文件描述符上有可讀數(shù)據(jù)。(包括對端SOCKET正常關閉);
EPOLLOUT: 觸發(fā)該事件,表示對應的文件描述符上可以寫數(shù)據(jù);
EPOLLPRI: 表示對應的文件描述符有緊急的數(shù)據(jù)可讀(這里應該表示有帶外數(shù)據(jù)到來);
EPOLLERR: 表示對應的文件描述符發(fā)生錯誤;
EPOLLHUP: 表示對應的文件描述符被掛斷;
EPOLLET: 將EPOLL設為邊緣觸發(fā)(Edge Triggered)模式,這是相對于水平觸發(fā)(Level Triggered)來說的。
EPOLLONESHOT: 只監(jiān)聽一次事件,當監(jiān)聽完這次事件之后,如果還需要繼續(xù)監(jiān)聽這個socket的話,需要再次把這個socket加入到EPOLL隊列里。
*/
__uint32_t events;
epoll_data_t data; /* User data variable */
};
如要監(jiān)聽服務端套接字的連接,listenfd對對應的socket套接字,之前已經(jīng)bind和listen好。將它加入到epfd指定的epoll對象中
struct epoll_event ev;
//設置與要處理的事件相關的文件描述符
ev.data.fd=listenfd;
//設置要處理的事件類型
ev.events=EPOLLIN|EPOLLET;
//注冊epoll事件
epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);
3.等待事件觸發(fā),當超過timeout還沒有事件觸發(fā)時,就超時。
int epoll_wait(int epfd, struct epoll_event * events, intmaxevents, int timeout);
函數(shù)聲明:int epoll_wait(int epfd,struct epoll_event * events,int maxevents,int timeout)
該函數(shù)用于輪詢I/O事件的發(fā)生;參數(shù):
epfd:由epoll_create 生成的epoll專用的文件描述符;
epoll_event:用于回傳代處理事件的數(shù)組,已經(jīng)分配好內存;
maxevents:每次能處理的最大事件數(shù);
timeout:等待I/O事件發(fā)生的超時值(單位我也不太清楚);-1相當于阻塞,0相當于非阻塞。一般用-1即可
返回發(fā)生事件數(shù)。
二、epoll的原理
本節(jié)會以示例和圖表來講解epoll的原理和流程。
1.創(chuàng)建epoll對象
如下圖所示,當某個進程調用epoll_create方法時,內核會創(chuàng)建一個eventpoll對象(也就是程序中epfd所代表的對象)。eventpoll對象也是文件系統(tǒng)中的一員,和socket一樣,它也會有等待隊列。
創(chuàng)建一個代表該epoll的eventpoll對象是必須的,因為內核要維護“就緒列表”等數(shù)據(jù),“就緒列表”可以作為eventpoll的成員。
2.維護監(jiān)視列表
創(chuàng)建epoll對象后,可以用epoll_ctl添加或刪除所要監(jiān)聽的socket。以添加socket為例,如下圖,如果通過epoll_ctl添加sock1、sock2和sock3的監(jiān)視,內核會將eventpoll添加到這三個socket的等待隊列中。
當socket收到數(shù)據(jù)后,中斷程序會操作eventpoll對象,而不是直接操作進程。
3.接收數(shù)據(jù)
當socket收到數(shù)據(jù)后,中斷程序會給eventpoll的“就緒列表”添加socket引用。如下圖展示的是sock2和sock3收到數(shù)據(jù)后,中斷程序讓rdlist引用這兩個socket。
eventpoll對象相當于是socket和進程之間的中介,socket的數(shù)據(jù)接收并不直接影響進程,而是通過改變eventpoll的就緒列表來改變進程狀態(tài)。
當程序執(zhí)行到epoll_wait時,如果rdlist已經(jīng)引用了socket,那么epoll_wait直接返回,如果rdlist為空,阻塞進程。
4.阻塞和喚醒進程
假設計算機中正在運行進程A和進程B,在某時刻進程A運行到了epoll_wait語句。如下圖所示,內核會將進程A放入eventpoll的等待隊列中,阻塞進程。
當socket接收到數(shù)據(jù),中斷程序一方面修改rdlist,另一方面喚醒eventpoll等待隊列中的進程,進程A再次進入運行狀態(tài)(如下圖)。也因為rdlist的存在,進程A可以知道哪些socket發(fā)生了變化。
三、epoll的實現(xiàn)細節(jié)
讀完這篇文章,還有三個問題需要細究一下。
- eventpoll的數(shù)據(jù)結構是什么樣子?
- 就緒隊列應該應使用什么數(shù)據(jù)結構?
- eventpoll應使用什么數(shù)據(jù)結構來管理通過epoll_ctl添加或刪除的socket?
如下圖所示,eventpoll包含了lock、mtx、wq(等待隊列)、rdlist等成員。rdlist和rbr是我們所關心的。
1. 就緒列表的數(shù)據(jù)結構
- 就緒列表引用著就緒的socket,所以它應能夠快速的插入數(shù)據(jù)。
- 程序可能隨時調用epoll_ctl添加監(jiān)視socket,也可能隨時刪除。當刪除時,若該socket已經(jīng)存放在就緒列表中,它也應該被移除。
所以就緒列表應是一種能夠快速插入和刪除的數(shù)據(jù)結構。雙向鏈表就是這樣一種數(shù)據(jù)結構,epoll使用雙向鏈表來實現(xiàn)就緒隊列(對應上圖的rdllist)。
2.索引結構
既然epoll將“維護監(jiān)視隊列”和“進程阻塞”分離,也意味著需要有個數(shù)據(jù)結構來保存監(jiān)視的socket。至少要方便的添加和移除,還要便于搜索,以避免重復添加。紅黑樹是一種自平衡二叉查找樹,搜索、插入和刪除時間復雜度都是O(log(N)),效率較好。epoll使用了紅黑樹作為索引結構(對應上圖的rbr),存儲所監(jiān)視的socket fd。