文件描述符fd
文件描述符是一個(gè)索引值，指向該進(jìn)程打開文件的記錄表，這個(gè)表是由內(nèi)核為相應(yīng)進(jìn)程維護(hù)的。當(dāng)程序打開一個(gè)現(xiàn)有文件或者創(chuàng)建一個(gè)新文件時(shí)，內(nèi)核就會(huì)給進(jìn)程返回一個(gè)文件描述符fd。
緩存I/O
在 Linux 的緩存 I/O 機(jī)制中，數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間，即文件系統(tǒng)的也緩存（ page cache ）。
I/O模式
-
阻塞 I/O
阻塞模型
用戶等待數(shù)據(jù)被阻塞，內(nèi)核等待數(shù)據(jù)被阻塞，然后從內(nèi)核拷貝到用戶內(nèi)存，內(nèi)核返回結(jié)果，用戶進(jìn)程才解除阻塞
-
非阻塞 I/O
非阻塞模型
當(dāng)用戶進(jìn)程發(fā)出read操作時(shí)，如果kernel中的數(shù)據(jù)還沒有準(zhǔn)備好，那么它并不會(huì)block用戶進(jìn)程，而是立刻返回一個(gè)error。用戶進(jìn)程判斷結(jié)果是一個(gè)error時(shí)，它就知道數(shù)據(jù)還沒有準(zhǔn)備好，于是它可以再次發(fā)送read操作。一旦kernel中的數(shù)據(jù)準(zhǔn)備好了，并且又再次收到了用戶進(jìn)程的system call，那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存，然后返回。輪詢 -
I/O 多路復(fù)用
多路復(fù)用模型
就是我們說的select，poll，epoll，有的也稱這種IO方式為事件驅(qū)動(dòng) I/O。
單個(gè)process就可以同時(shí)處理多個(gè)網(wǎng)絡(luò)連接的IO，select方法會(huì)不斷的輪詢所負(fù)責(zé)的所有socket，當(dāng)某個(gè)socket有數(shù)據(jù)到達(dá)了，就通知用戶進(jìn)程。
當(dāng)用戶進(jìn)程調(diào)用了select，那么整個(gè)進(jìn)程會(huì)被block，而同時(shí)，kernel會(huì)“監(jiān)視”所有select負(fù)責(zé)的socket，當(dāng)任何一個(gè)socket中的數(shù)據(jù)準(zhǔn)備好了，select就會(huì)返回。這個(gè)時(shí)候用戶進(jìn)程再調(diào)用read操作，將數(shù)據(jù)從kernel拷貝到用戶進(jìn)程。
與阻塞IO的區(qū)別是可以同時(shí)處理多個(gè)連接，但需要兩個(gè)system call (select 和 recvfrom) 信號(hào)驅(qū)動(dòng) I/O
-
異步 I/O
異步IO模型
用戶進(jìn)程發(fā)起read操作之后，立刻就可以開始去做其它的事。而另一方面，從kernel的角度，當(dāng)它收到一個(gè)asynchronous read之后，首先它會(huì)立刻返回，所以不會(huì)對(duì)用戶進(jìn)程產(chǎn)生任何block。然后，kernel會(huì)等待數(shù)據(jù)準(zhǔn)備完成，然后將數(shù)據(jù)拷貝到用戶內(nèi)存，當(dāng)這一切都完成之后，kernel會(huì)給用戶進(jìn)程發(fā)送一個(gè)signal，告訴它read操作完成了。
對(duì)比
select
int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
select 函數(shù)監(jiān)視的文件描述符分3類，分別是writefds、readfds、和exceptfds。調(diào)用后select函數(shù)會(huì)阻塞，直到有描述符就緒（有數(shù)據(jù) 可讀、可寫、或者有except），或者超時(shí)（timeout指定等待時(shí)間，如果立即返回設(shè)為null即可），函數(shù)返回。當(dāng)select函數(shù)返回后，可以 通過遍歷fdset，來找到就緒的描述符。
select目前幾乎在所有的平臺(tái)上支持，缺點(diǎn)在于單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制，在Linux上一般為1024，可以通過修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制，但是這樣也會(huì)造成效率的降低。
poll
int poll (struct pollfd *fds, unsigned int nfds, int timeout);
struct pollfd {
int fd; /* file descriptor */
short events; /* requested events to watch */
short revents; /* returned events witnessed */
};
pollfd結(jié)構(gòu)包含了要監(jiān)視的event和發(fā)生的event，poll返回后，需要輪詢pollfd來獲取就緒的描述符。
epoll
// 創(chuàng)建一個(gè)epoll的句柄，size用來告訴內(nèi)核這個(gè)監(jiān)聽的數(shù)目一共有多大
// 參數(shù)size并不是限制了epoll所能監(jiān)聽的描述符最大個(gè)數(shù)，只是對(duì)內(nèi)核初始分配內(nèi)部數(shù)據(jù)結(jié)構(gòu)的一個(gè)建議
// 當(dāng)創(chuàng)建好epoll句柄后，它就會(huì)占用一個(gè)fd值，在linux下如果查看/proc/進(jìn)程id/fd/，
// 在使用完epoll后，必須調(diào)用close()關(guān)閉，否則可能導(dǎo)致fd被耗盡。
int epoll_create(int size)；
// epoll_ctl 對(duì)指定描述符fd執(zhí)行op操作
// epfd：是epoll_create()的返回值。
// op：表示op操作，用三個(gè)宏來表示：添加EPOLL_CTL_ADD，刪除EPOLL_CTL_DEL，修改EPOLL_CTL_MOD。分別添加、刪除和修改對(duì)fd的監(jiān)聽事件。
// fd：是需要監(jiān)聽的fd（文件描述符）
// epoll_event：是告訴內(nèi)核需要監(jiān)聽什么事，struct epoll_event結(jié)構(gòu)如下：
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
// events可以是以下幾個(gè)宏的集合：
// EPOLLIN ：表示對(duì)應(yīng)的文件描述符可以讀（包括對(duì)端SOCKET正常關(guān)閉）；
// EPOLLOUT：表示對(duì)應(yīng)的文件描述符可以寫；
// EPOLLPRI：表示對(duì)應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀（這里應(yīng)該表示有帶外數(shù)據(jù)到來）；
// EPOLLERR：表示對(duì)應(yīng)的文件描述符發(fā)生錯(cuò)誤；
// EPOLLHUP：表示對(duì)應(yīng)的文件描述符被掛斷；
// EPOLLET： 將EPOLL設(shè)為邊緣觸發(fā)(Edge Triggered)模式，這是相對(duì)于水平觸發(fā)(Level Triggered)來說的。
// EPOLLONESHOT：只監(jiān)聽一次事件，當(dāng)監(jiān)聽完這次事件之后，如果還需要繼續(xù)監(jiān)聽這個(gè)socket的話，需要再次把這個(gè)socket加入到EPOLL隊(duì)列里
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
// 等待epfd上的io事件，最多返回maxevents個(gè)事件。
// 參數(shù)events用來從內(nèi)核得到事件的集合，maxevents告之內(nèi)核這個(gè)events有多大，
// 這個(gè)maxevents的值不能大于創(chuàng)建epoll_create()時(shí)的size，參數(shù)timeout是超時(shí)時(shí)間（毫秒，0會(huì)立即返回，-1將不確定，也有說法說是永久阻塞）。
// 該函數(shù)返回需要處理的事件數(shù)目，如返回0表示已超時(shí)。
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
相對(duì)于select和poll來說，epoll更加靈活，沒有描述符限制。epoll使用一個(gè)文件描述符管理多個(gè)描述符，將用戶關(guān)系的文件描述符的事件存放到內(nèi)核的一個(gè)事件表中，這樣在用戶空間和內(nèi)核空間的copy只需一次。
epoll 工作模式
epoll對(duì)文件描述符的操作有兩種模式：LT（level trigger）和ET（edge trigger）。LT模式是默認(rèn)模式，LT模式與ET模式的區(qū)別如下：
LT模式：當(dāng)epoll_wait檢測(cè)到描述符事件發(fā)生并將此事件通知應(yīng)用程序，應(yīng)用程序可以不立即處理該事件。下次調(diào)用epoll_wait時(shí)，會(huì)再次響應(yīng)應(yīng)用程序并通知此事件。如果你不作任何操作，內(nèi)核還是會(huì)繼續(xù)通知你的。
ET(高速)模式：當(dāng)epoll_wait檢測(cè)到描述符事件發(fā)生并將此事件通知應(yīng)用程序，應(yīng)用程序必須立即處理該事件。如果不處理，下次調(diào)用epoll_wait時(shí)，不會(huì)再次響應(yīng)應(yīng)用程序并通知此事件。
總結(jié)
在 select/poll中，進(jìn)程只有在調(diào)用一定的方法后，內(nèi)核才對(duì)所有監(jiān)視的文件描述符進(jìn)行掃描，而epoll事先通過epoll_ctl()來注冊(cè)一個(gè)文件描述符，一旦某個(gè)文件描述符就緒時(shí)，內(nèi)核會(huì)采用類似callback的回調(diào)機(jī)制，迅速激活這個(gè)文件描述符，當(dāng)進(jìn)程調(diào)用epoll_wait() 時(shí)便得到通知。
epoll 監(jiān)視的描述符數(shù)量不受限制，它所支持的FD上限是最大可以打開文件的數(shù)目，這個(gè)數(shù)字一般遠(yuǎn)大于2048,舉個(gè)例子,在1GB內(nèi)存的機(jī)器上大約是10萬左右，具體數(shù)目可以cat /proc/sys/fs/file-max察看,一般來說這個(gè)數(shù)目和系統(tǒng)內(nèi)存關(guān)系很大。select的最大缺點(diǎn)就是進(jìn)程打開的fd是有數(shù)量限制的。這對(duì)于連接數(shù)量比較大的服務(wù)器來說根本不能滿足。
epoll結(jié)構(gòu)
調(diào)用epoll_create后，內(nèi)核就已經(jīng)在內(nèi)核態(tài)開始準(zhǔn)備幫你存儲(chǔ)要監(jiān)控的句柄了，每次調(diào)用epoll_ctl只是在往內(nèi)核的數(shù)據(jù)結(jié)構(gòu)里塞入新的socket句柄。
在內(nèi)核里，一切皆文件。所以，epoll向內(nèi)核注冊(cè)了一個(gè)文件系統(tǒng)，用于存儲(chǔ)上述的被監(jiān)控socket。當(dāng)你調(diào)用epoll_create時(shí)，就會(huì)在這個(gè)虛擬的epoll文件系統(tǒng)里創(chuàng)建一個(gè)file結(jié)點(diǎn)。當(dāng)然這個(gè)file不是普通文件，它只服務(wù)于epoll。
epoll在被內(nèi)核初始化時(shí)（操作系統(tǒng)啟動(dòng)），同時(shí)會(huì)開辟出epoll自己的內(nèi)核高速cache區(qū)，用于安置每一個(gè)我們想監(jiān)控的socket，這些socket會(huì)以紅黑樹的形式保存在內(nèi)核cache里，以支持快速的查找、插入、刪除。這個(gè)內(nèi)核高速cache區(qū)，就是建立連續(xù)的物理內(nèi)存頁(yè)，然后在之上建立slab層，簡(jiǎn)單的說，就是物理上分配好你想要的size的內(nèi)存對(duì)象，每次使用時(shí)都是使用空閑的已分配好的對(duì)象。
在內(nèi)核cache里建了個(gè)紅黑樹用于存儲(chǔ)以后epoll_ctl傳來的socket外，還會(huì)再建立一個(gè)list鏈表，用于存儲(chǔ)準(zhǔn)備就緒的事件，當(dāng)epoll_wait調(diào)用時(shí)，僅僅觀察這個(gè)list鏈表里有沒有數(shù)據(jù)即可。有數(shù)據(jù)就返回，沒有數(shù)據(jù)就sleep，等到timeout時(shí)間到后即使鏈表沒數(shù)據(jù)也返回。所以，epoll_wait非常高效。
通常情況下即使我們要監(jiān)控百萬計(jì)的句柄，大多一次也只返回很少量的準(zhǔn)備就緒句柄而已，所以，epoll_wait僅需要從內(nèi)核態(tài)copy少量的句柄到用戶態(tài)而已，所以會(huì)顯得非常高效。
關(guān)于就緒list，當(dāng)我們執(zhí)行epoll_ctl時(shí)，除了把socket放到epoll文件系統(tǒng)里file對(duì)象對(duì)應(yīng)的紅黑樹上之外，還會(huì)給內(nèi)核中斷處理程序注冊(cè)一個(gè)回調(diào)函數(shù)，告訴內(nèi)核，如果這個(gè)句柄的中斷到了，就把它放到準(zhǔn)備就緒list鏈表里。所以，當(dāng)一個(gè)socket上有數(shù)據(jù)到了，內(nèi)核在把網(wǎng)卡上的數(shù)據(jù)copy到內(nèi)核中后，就把socket插入到準(zhǔn)備就緒鏈表里了。
