1. epoll觸發(fā)模式

1.1. 概念說明

在進(jìn)行解釋之前，首先要說明幾個概念：

• 用戶空間和內(nèi)核空間
• 進(jìn)程切換
• 進(jìn)程的阻塞
• 文件描述符
• 緩存 I/O

1.1.1. 用戶空間與內(nèi)核空間

現(xiàn)在操作系統(tǒng)都是采用虛擬存儲器，那么對32位操作系統(tǒng)而言，它的尋址空間（虛擬存儲空間）為4G（2的32次方）。操作系統(tǒng)的核心是內(nèi)核，獨(dú)立于普通的應(yīng)用程序，可以訪問受保護(hù)的內(nèi)存空間，也有訪問底層硬件設(shè)備的所有權(quán)限。為了保證用戶進(jìn)程不能直接操作內(nèi)核（kernel），保證內(nèi)核的安全，操心系統(tǒng)將虛擬空間劃分為兩部分，一部分為內(nèi)核空間，一部分為用戶空間。針對linux操作系統(tǒng)而言，將最高的1G字節(jié)（從虛擬地址0xC0000000到0xFFFFFFFF），供內(nèi)核使用，稱為內(nèi)核空間，而將較低的3G字節(jié)（從虛擬地址0x00000000到0xBFFFFFFF），供各個進(jìn)程使用，稱為用戶空間。

1.1.2. 進(jìn)程切換

為了控制進(jìn)程的執(zhí)行，內(nèi)核必須有能力掛起正在CPU上運(yùn)行的進(jìn)程，并恢復(fù)以前掛起的某個進(jìn)程的執(zhí)行。這種行為被稱為進(jìn)程切換。因此可以說，任何進(jìn)程都是在操作系統(tǒng)內(nèi)核的支持下運(yùn)行的，是與內(nèi)核緊密相關(guān)的。

從一個進(jìn)程的運(yùn)行轉(zhuǎn)到另一個進(jìn)程上運(yùn)行，這個過程中經(jīng)過下面這些變化：

1. 保存處理機(jī)上下文，包括程序計(jì)數(shù)器和其他寄存器。
2. 更新PCB信息。
3. 把進(jìn)程的PCB移入相應(yīng)的隊(duì)列，如就緒、在某事件阻塞等隊(duì)列。
4. 選擇另一個進(jìn)程執(zhí)行，并更新其PCB。
5. 更新內(nèi)存管理的數(shù)據(jù)結(jié)構(gòu)。
6. 恢復(fù)處理機(jī)上下文。

1.1.3. 進(jìn)程的阻塞

正在執(zhí)行的進(jìn)程，由于期待的某些事件未發(fā)生，如請求系統(tǒng)資源失敗、等待某種操作的完成、新數(shù)據(jù)尚未到達(dá)或無新工作做等，則由系統(tǒng)自動執(zhí)行阻塞原語(Block)，使自己由運(yùn)行狀態(tài)變?yōu)樽枞麪顟B(tài)。可見，進(jìn)程的阻塞是進(jìn)程自身的一種主動行為，也因此只有處于運(yùn)行態(tài)的進(jìn)程（獲得CPU），才可能將其轉(zhuǎn)為阻塞狀態(tài)。當(dāng)進(jìn)程進(jìn)入阻塞狀態(tài)，是不占用CPU資源的。

1.1.4. 文件描述符fd

文件描述符（File descriptor）是計(jì)算機(jī)科學(xué)中的一個術(shù)語，是一個用于表述指向文件的引用的抽象化概念。

文件描述符在形式上是一個非負(fù)整數(shù)。實(shí)際上，它是一個索引值，指向內(nèi)核為每一個進(jìn)程所維護(hù)的該進(jìn)程打開文件的記錄表。當(dāng)程序打開一個現(xiàn)有文件或者創(chuàng)建一個新文件時(shí)，內(nèi)核向進(jìn)程返回一個文件描述符。在程序設(shè)計(jì)中，一些涉及底層的程序編寫往往會圍繞著文件描述符展開。但是文件描述符這一概念往往只適用于UNIX、Linux這樣的操作系統(tǒng)。

1.1.5. 緩存 I/O

緩存 I/O 又被稱作標(biāo)準(zhǔn) I/O，大多數(shù)文件系統(tǒng)的默認(rèn) I/O 操作都是緩存 I/O。在 Linux 的緩存 I/O 機(jī)制中，操作系統(tǒng)會將 I/O 的數(shù)據(jù)緩存在文件系統(tǒng)的頁緩存（ page cache ）中，也就是說，數(shù)據(jù)會先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。

緩存 I/O 的缺點(diǎn)：

數(shù)據(jù)在傳輸過程中需要在應(yīng)用程序地址空間和內(nèi)核進(jìn)行多次數(shù)據(jù)拷貝操作，這些數(shù)據(jù)拷貝操作所帶來的 CPU 以及內(nèi)存開銷是非常大的。

1.2. IO模式

剛才說了，對于一次IO訪問（以read舉例），數(shù)據(jù)會先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。所以說，當(dāng)一個read操作發(fā)生時(shí)，它會經(jīng)歷兩個階段：

1. 等待數(shù)據(jù)準(zhǔn)備 (Waiting for the data to be ready)
2. 將數(shù)據(jù)從內(nèi)核拷貝到進(jìn)程中 (Copying the data from the kernel to the process)

正式因?yàn)檫@兩個階段，linux系統(tǒng)產(chǎn)生了下面五種網(wǎng)絡(luò)模式的方案。

• 阻塞 I/O（blocking IO）
• 非阻塞 I/O（nonblocking IO）
• I/O 多路復(fù)用（ IO multiplexing）
• 信號驅(qū)動 I/O（ signal driven IO）
• 異步 I/O（asynchronous IO）

注：由于signal driven IO在實(shí)際中并不常用，所以我這只提及剩下的四種IO Model。

1.2.1. 阻塞 I/O（blocking IO）

在linux中，默認(rèn)情況下所有的socket都是blocking，一個典型的讀操作流程大概是這樣：

[圖片上傳失敗...(image-c2237-1652710384436)]

當(dāng)用戶進(jìn)程調(diào)用了recvfrom這個系統(tǒng)調(diào)用，kernel就開始了IO的第一個階段：準(zhǔn)備數(shù)據(jù)（對于網(wǎng)絡(luò)IO來說，很多時(shí)候數(shù)據(jù)在一開始還沒有到達(dá)。比如，還沒有收到一個完整的UDP包。這個時(shí)候kernel就要等待足夠的數(shù)據(jù)到來）。這個過程需要等待，也就是說數(shù)據(jù)被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中是需要一個過程的。而在用戶進(jìn)程這邊，整個進(jìn)程會被阻塞（當(dāng)然，是進(jìn)程自己選擇的阻塞）。當(dāng)kernel一直等到數(shù)據(jù)準(zhǔn)備好了，它就會將數(shù)據(jù)從kernel中拷貝到用戶內(nèi)存，然后kernel返回結(jié)果，用戶進(jìn)程才解除block的狀態(tài)，重新運(yùn)行起來。

所以，blocking IO的特點(diǎn)就是在IO執(zhí)行的兩個階段都被block了。

1.2.2. 非阻塞 I/O（nonblocking IO）

linux下，可以通過設(shè)置socket使其變?yōu)閚on-blocking。當(dāng)對一個non-blocking socket執(zhí)行讀操作時(shí)，流程是這個樣子：

[圖片上傳失敗...(image-48a695-1652710384436)]

當(dāng)用戶進(jìn)程發(fā)出read操作時(shí)，如果kernel中的數(shù)據(jù)還沒有準(zhǔn)備好，那么它并不會block用戶進(jìn)程，而是立刻返回一個error。從用戶進(jìn)程角度講 ，它發(fā)起一個read操作后，并不需要等待，而是馬上就得到了一個結(jié)果。用戶進(jìn)程判斷結(jié)果是一個error時(shí)，它就知道數(shù)據(jù)還沒有準(zhǔn)備好，于是它可以再次發(fā)送read操作。一旦kernel中的數(shù)據(jù)準(zhǔn)備好了，并且又再次收到了用戶進(jìn)程的system call，那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存，然后返回。

所以，nonblocking IO的特點(diǎn)是用戶進(jìn)程需要不斷的主動詢問kernel數(shù)據(jù)好了沒有。

1.2.3. I/O 多路復(fù)用（ IO multiplexing）

IO multiplexing就是我們說的select，poll，epoll，有些地方也稱這種IO方式為event driven IO。select/epoll的好處就在于單個process就可以同時(shí)處理多個網(wǎng)絡(luò)連接的IO。它的基本原理就是select，poll，epoll這個function會不斷的輪詢所負(fù)責(zé)的所有socket，當(dāng)某個socket有數(shù)據(jù)到達(dá)了，就通知用戶進(jìn)程。

[圖片上傳失敗...(image-af37b7-1652710384436)]

當(dāng)用戶進(jìn)程調(diào)用了select，那么整個進(jìn)程會被block，而同時(shí)，kernel會“監(jiān)視”所有select負(fù)責(zé)的socket，當(dāng)任何一個socket中的數(shù)據(jù)準(zhǔn)備好了，select就會返回。這個時(shí)候用戶進(jìn)程再調(diào)用read操作，將數(shù)據(jù)從kernel拷貝到用戶進(jìn)程。

所以，I/O 多路復(fù)用的特點(diǎn)是通過一種機(jī)制一個進(jìn)程能同時(shí)等待多個文件描述符，而這些文件描述符（套接字描述符）其中的任意一個進(jìn)入讀就緒狀態(tài)，select()函數(shù)就可以返回。

這個圖和blocking IO的圖其實(shí)并沒有太大的不同，事實(shí)上，還更差一些。因?yàn)檫@里需要使用兩個system call (select 和 recvfrom)，而blocking IO只調(diào)用了一個system call (recvfrom)。但是，用select的優(yōu)勢在于它可以同時(shí)處理多個connection。

所以，如果處理的連接數(shù)不是很高的話，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延遲還更大。select/epoll的優(yōu)勢并不是對于單個連接能處理得更快，而是在于能處理更多的連接。）

在IO multiplexing Model中，實(shí)際中，對于每一個socket，一般都設(shè)置成為non-blocking，但是，如上圖所示，整個用戶的process其實(shí)是一直被block的。只不過process是被select這個函數(shù)block，而不是被socket IO給block。

1.2.4. 異步 I/O（asynchronous IO）

linux下的asynchronous IO其實(shí)用得很少。先看一下它的流程：

[圖片上傳失敗...(image-95b8e8-1652710384436)]

用戶進(jìn)程發(fā)起read操作之后，立刻就可以開始去做其它的事。而另一方面，從kernel的角度，當(dāng)它受到一個asynchronous read之后，首先它會立刻返回，所以不會對用戶進(jìn)程產(chǎn)生任何block。然后，kernel會等待數(shù)據(jù)準(zhǔn)備完成，然后將數(shù)據(jù)拷貝到用戶內(nèi)存，當(dāng)這一切都完成之后，kernel會給用戶進(jìn)程發(fā)送一個signal，告訴它read操作完成了。

1.3. 總結(jié)

1.3.1. blocking和non-blocking的區(qū)別

調(diào)用blocking IO會一直block住對應(yīng)的進(jìn)程直到操作完成，而non-blocking IO在kernel還準(zhǔn)備數(shù)據(jù)的情況下會立刻返回。

1.3.2. synchronous IO和asynchronous IO的區(qū)別

在說明synchronous IO和asynchronous IO的區(qū)別之前，需要先給出兩者的定義。POSIX的定義是這樣子的：

• A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes;
• An asynchronous I/O operation does not cause the requesting process to be blocked;

兩者的區(qū)別就在于synchronous IO做”IO operation”的時(shí)候會將process阻塞。按照這個定義，之前所述的blocking IO，non-blocking IO，IO multiplexing都屬于synchronous IO。

有人會說，non-blocking IO并沒有被block啊。這里有個非常“狡猾”的地方，定義中所指的”IO operation”是指真實(shí)的IO操作，就是例子中的recvfrom這個system call。non-blocking IO在執(zhí)行recvfrom這個system call的時(shí)候，如果kernel的數(shù)據(jù)沒有準(zhǔn)備好，這時(shí)候不會block進(jìn)程。但是，當(dāng)kernel中數(shù)據(jù)準(zhǔn)備好的時(shí)候，recvfrom會將數(shù)據(jù)從kernel拷貝到用戶內(nèi)存中，這個時(shí)候進(jìn)程是被block了，在這段時(shí)間內(nèi)，進(jìn)程是被block的。

而asynchronous IO則不一樣，當(dāng)進(jìn)程發(fā)起IO 操作之后，就直接返回再也不理睬了，直到kernel發(fā)送一個信號，告訴進(jìn)程說IO完成。在這整個過程中，進(jìn)程完全沒有被block。

各個IO Model的比較如圖所示：

[圖片上傳失敗...(image-c0fe85-1652710384436)]

通過上面的圖片，可以發(fā)現(xiàn)non-blocking IO和asynchronous IO的區(qū)別還是很明顯的。在non-blocking IO中，雖然進(jìn)程大部分時(shí)間都不會被block，但是它仍然要求進(jìn)程去主動的check，并且當(dāng)數(shù)據(jù)準(zhǔn)備完成以后，也需要進(jìn)程主動的再次調(diào)用recvfrom來將數(shù)據(jù)拷貝到用戶內(nèi)存。而asynchronous IO則完全不同。它就像是用戶進(jìn)程將整個IO操作交給了他人（kernel）完成，然后他人做完后發(fā)信號通知。在此期間，用戶進(jìn)程不需要去檢查IO操作的狀態(tài)，也不需要主動的去拷貝數(shù)據(jù)。

1.4. I/O 多路復(fù)用之select、poll、epoll詳解

select，poll，epoll都是IO多路復(fù)用的機(jī)制。I/O多路復(fù)用就是通過一種機(jī)制，一個進(jìn)程可以監(jiān)視多個描述符，一旦某個描述符就緒（一般是讀就緒或者寫就緒），能夠通知程序進(jìn)行相應(yīng)的讀寫操作。但select，poll，epoll本質(zhì)上都是同步I/O，因?yàn)樗麄兌夹枰谧x寫事件就緒后自己負(fù)責(zé)進(jìn)行讀寫，也就是說這個讀寫過程是阻塞的，而異步I/O則無需自己負(fù)責(zé)進(jìn)行讀寫，異步I/O的實(shí)現(xiàn)會負(fù)責(zé)把數(shù)據(jù)從內(nèi)核拷貝到用戶空間。

1.4.1. select

int select (int n, fd_set readfds, fd_set writefds, fd_set exceptfds, struct timeval timeout);

select 函數(shù)監(jiān)視的文件描述符分3類，分別是writefds、readfds、和exceptfds。調(diào)用后select函數(shù)會阻塞，直到有描述副就緒（有數(shù)據(jù) 可讀、可寫、或者有except），或者超時(shí)（timeout指定等待時(shí)間，如果立即返回設(shè)為null即可），函數(shù)返回。當(dāng)select函數(shù)返回后，可以 通過遍歷fdset，來找到就緒的描述符。

select目前幾乎在所有的平臺上支持，其良好跨平臺支持也是它的一個優(yōu)點(diǎn)。select的一 個缺點(diǎn)在于單個進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制，在Linux上一般為1024，可以通過修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制，但 是這樣也會造成效率的降低。

1.4.2. poll

int poll (struct pollfd *fds, unsigned int nfds, int timeout);

不同與select使用三個位圖來表示三個fdset的方式，poll使用一個 pollfd的指針實(shí)現(xiàn)。

struct pollfd {
    int fd; /* file descriptor */
    short events; /* requested events to watch */
    short revents; /* returned events witnessed */
};
Copy

pollfd結(jié)構(gòu)包含了要監(jiān)視的event和發(fā)生的event，不再使用select“參數(shù)-值”傳遞的方式。同時(shí)，pollfd并沒有最大數(shù)量限制（但是數(shù)量過大后性能也是會下降）。 和select函數(shù)一樣，poll返回后，需要輪詢pollfd來獲取就緒的描述符。

從上面看，select和poll都需要在返回后，通過遍歷文件描述符來獲取已經(jīng)就緒的socket。事實(shí)上，同時(shí)連接的大量客戶端在一時(shí)刻可能只有很少的處于就緒狀態(tài)，因此隨著監(jiān)視的描述符數(shù)量的增長，其效率也會線性下降。

1.4.3. epoll

epoll是在2.6內(nèi)核中提出的，是之前的select和poll的增強(qiáng)版本。相對于select和poll來說，epoll更加靈活，沒有描述符限制。epoll使用一個文件描述符管理多個描述符，將用戶關(guān)系的文件描述符的事件存放到內(nèi)核的一個事件表中，這樣在用戶空間和內(nèi)核空間的copy只需一次。

一 epoll操作過程

epoll操作過程需要三個接口，分別如下：

int epoll_create(int size)；//創(chuàng)建一個epoll的句柄，size用來告訴內(nèi)核這個監(jiān)聽的數(shù)目一共有多大
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
Copy

1. int epoll_create(int size);

創(chuàng)建一個epoll的句柄，size用來告訴內(nèi)核這個監(jiān)聽的數(shù)目一共有多大，這個參數(shù)不同于select()中的第一個參數(shù)，給出最大監(jiān)聽的fd+1的值，參數(shù)size并不是限制了epoll所能監(jiān)聽的描述符最大個數(shù)，只是對內(nèi)核初始分配內(nèi)部數(shù)據(jù)結(jié)構(gòu)的一個建議。

當(dāng)創(chuàng)建好epoll句柄后，它就會占用一個fd值，在linux下如果查看/proc/進(jìn)程id/fd/，是能夠看到這個fd的，所以在使用完epoll后，必須調(diào)用close()關(guān)閉，否則可能導(dǎo)致fd被耗盡。

2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；

函數(shù)是對指定描述符fd執(zhí)行op操作。

• epfd：是epoll_create()的返回值。
• op：表示op操作，用三個宏來表示：添加EPOLL_CTL_ADD，刪除EPOLL_CTL_DEL，修改EPOLL_CTL_MOD。分別添加、刪除和修改對fd的監(jiān)聽事件。
• fd：是需要監(jiān)聽的fd（文件描述符）
• epoll_event：是告訴內(nèi)核需要監(jiān)聽什么事，struct epoll_event結(jié)構(gòu)如下：

struct epoll_event {
  __uint32_t events;  /* Epoll events */
  epoll_data_t data;  /* User data variable */
};

//events可以是以下幾個宏的集合：
EPOLLIN ：表示對應(yīng)的文件描述符可以讀（包括對端SOCKET正常關(guān)閉）；
EPOLLOUT：表示對應(yīng)的文件描述符可以寫；
EPOLLPRI：表示對應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀（這里應(yīng)該表示有帶外數(shù)據(jù)到來）；
EPOLLERR：表示對應(yīng)的文件描述符發(fā)生錯誤；
EPOLLHUP：表示對應(yīng)的文件描述符被掛斷；
EPOLLET： 將EPOLL設(shè)為邊緣觸發(fā)(Edge Triggered)模式，這是相對于水平觸發(fā)(Level Triggered)來說的。
EPOLLONESHOT：只監(jiān)聽一次事件，當(dāng)監(jiān)聽完這次事件之后，如果還需要繼續(xù)監(jiān)聽這個socket的話，需要再次把這個socket加入到EPOLL隊(duì)列里
Copy

3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

等待epfd上的io事件，最多返回maxevents個事件。

參數(shù)events用來從內(nèi)核得到事件的集合，maxevents告之內(nèi)核這個events有多大，這個maxevents的值不能大于創(chuàng)建epoll_create()時(shí)的size，參數(shù)timeout是超時(shí)時(shí)間（毫秒，0會立即返回，-1將不確定，也有說法說是永久阻塞）。該函數(shù)返回需要處理的事件數(shù)目，如返回0表示已超時(shí)。

二 工作模式

epoll對文件描述符的操作有兩種模式：LT（level trigger）和ET（edge trigger）。LT模式是默認(rèn)模式，LT模式與ET模式的區(qū)別如下：

• LT模式：當(dāng)epoll_wait檢測到描述符事件發(fā)生并將此事件通知應(yīng)用程序，應(yīng)用程序可以不立即處理該事件。下次調(diào)用epoll_wait時(shí)，會再次響應(yīng)應(yīng)用程序并通知此事件。
• ET模式：當(dāng)epoll_wait檢測到描述符事件發(fā)生并將此事件通知應(yīng)用程序，應(yīng)用程序必須立即處理該事件。如果不處理，下次調(diào)用epoll_wait時(shí)，不會再次響應(yīng)應(yīng)用程序并通知此事件。

1. LT模式

LT(level triggered)是缺省的工作方式，并且同時(shí)支持block和no-block socket.在這種做法中，內(nèi)核告訴你一個文件描述符是否就緒了，然后你可以對這個就緒的fd進(jìn)行IO操作。如果你不作任何操作，內(nèi)核還是會繼續(xù)通知你的。

2. ET模式

ET(edge-triggered)是高速工作方式，只支持no-block socket。在這種模式下，當(dāng)描述符從未就緒變?yōu)榫途w時(shí)，內(nèi)核通過epoll告訴你。然后它會假設(shè)你知道文件描述符已經(jīng)就緒，并且不會再為那個文件描述符發(fā)送更多的就緒通知，直到你做了某些操作導(dǎo)致那個文件描述符不再為就緒狀態(tài)了(比如，你在發(fā)送，接收或者接收請求，或者發(fā)送接收的數(shù)據(jù)少于一定量時(shí)導(dǎo)致了一個EWOULDBLOCK 錯誤）。但是請注意，如果一直不對這個fd作IO操作(從而導(dǎo)致它再次變成未就緒)，內(nèi)核不會發(fā)送更多的通知(only once)

ET模式在很大程度上減少了epoll事件被重復(fù)觸發(fā)的次數(shù)，因此效率要比LT模式高。epoll工作在ET模式的時(shí)候，必須使用非阻塞套接口，以避免由于一個文件句柄的阻塞讀/阻塞寫操作把處理多個文件描述符的任務(wù)餓死。

3. 總結(jié)

假如有這樣一個例子：

1. 我們已經(jīng)把一個用來從管道中讀取數(shù)據(jù)的文件句柄(RFD)添加到epoll描述符
2. 這個時(shí)候從管道的另一端被寫入了2KB的數(shù)據(jù)
3. 調(diào)用epoll_wait(2)，并且它會返回RFD，說明它已經(jīng)準(zhǔn)備好讀取操作
4. 然后我們讀取了1KB的數(shù)據(jù)
5. 調(diào)用epoll_wait(2)......

LT模式： 如果是LT模式，那么在第5步調(diào)用epoll_wait(2)之后，仍然能受到通知。

ET模式： 如果我們在第1步將RFD添加到epoll描述符的時(shí)候使用了EPOLLET標(biāo)志，那么在第5步調(diào)用epoll_wait(2)之后將有可能會掛起，因?yàn)槭Ｓ嗟臄?shù)據(jù)還存在于文件的輸入緩沖區(qū)內(nèi)，而且數(shù)據(jù)發(fā)出端還在等待一個針對已經(jīng)發(fā)出數(shù)據(jù)的反饋信息。只有在監(jiān)視的文件句柄上發(fā)生了某個事件的時(shí)候 ET 工作模式才會匯報(bào)事件。因此在第5步的時(shí)候，調(diào)用者可能會放棄等待仍在存在于文件輸入緩沖區(qū)內(nèi)的剩余數(shù)據(jù)。

當(dāng)使用epoll的ET模型來工作時(shí)，當(dāng)產(chǎn)生了一個EPOLLIN事件后， 讀數(shù)據(jù)的時(shí)候需要考慮的是當(dāng)recv()返回的大小如果等于請求的大小，那么很有可能是緩沖區(qū)還有數(shù)據(jù)未讀完，也意味著該次事件還沒有處理完，所以還需要再次讀取：

while(rs){
  buflen = recv(activeevents[i].data.fd, buf, sizeof(buf), 0);
  if(buflen < 0){
    // 由于是非阻塞的模式,所以當(dāng)errno為EAGAIN時(shí),表示當(dāng)前緩沖區(qū)已無數(shù)據(jù)可讀
    // 在這里就當(dāng)作是該次事件已處理處.
    if(errno == EAGAIN){
        break;
    }
    else{
        return;
    }
  }
  else if(buflen == 0){
     // 這里表示對端的socket已正常關(guān)閉.
  }

 if(buflen == sizeof(buf){
      rs = 1;   // 需要再次讀取
 }
 else{
      rs = 0;
 }
}
Copy

Linux中的EAGAIN含義

Linux環(huán)境下開發(fā)經(jīng)常會碰到很多錯誤(設(shè)置errno)，其中EAGAIN是其中比較常見的一個錯誤(比如用在非阻塞操作中)。 從字面上來看，是提示再試一次。這個錯誤經(jīng)常出現(xiàn)在當(dāng)應(yīng)用程序進(jìn)行一些非阻塞(non-blocking)操作(對文件或socket)的時(shí)候。

例如，以 O_NONBLOCK的標(biāo)志打開文件/socket/FIFO，如果你連續(xù)做read操作而沒有數(shù)據(jù)可讀。此時(shí)程序不會阻塞起來等待數(shù)據(jù)準(zhǔn)備就緒返回，read函數(shù)會返回一個錯誤EAGAIN，提示你的應(yīng)用程序現(xiàn)在沒有數(shù)據(jù)可讀請稍后再試。 又例如，當(dāng)一個系統(tǒng)調(diào)用(比如fork)因?yàn)闆]有足夠的資源(比如虛擬內(nèi)存)而執(zhí)行失敗，返回EAGAIN提示其再調(diào)用一次(也許下次就能成功)。

數(shù)據(jù)在傳輸過程中需要在應(yīng)用程序地址空間和內(nèi)核進(jìn)行多次數(shù)據(jù)拷貝操作，這些數(shù)據(jù)拷貝操作所帶來的 CPU 以及內(nèi)存開銷是非常大的。

select和poll都只提供了一個函數(shù):select或者poll函數(shù)。 而epoll提供了三個函數(shù)，epoll_create,epoll_ctl和epoll_wait，epoll_create是創(chuàng)建一個epoll句柄；epoll_ctl是注冊要監(jiān)聽的事件類型；epoll_wait則是等待事件的產(chǎn)生。

epoll除了提供select/poll那種IO事件的水平觸發(fā)（Level Triggered）外，還提供了邊緣觸發(fā)（Edge Triggered），這就使得用戶空間程序有可能緩存IO狀態(tài)，減少epoll_wait/epoll_pwait的調(diào)用，提高應(yīng)用程序效率。

水平觸發(fā)(level-trggered)

只要文件描述符關(guān)聯(lián)的讀內(nèi)核緩沖區(qū)非空，有數(shù)據(jù)可以讀取，就一直發(fā)出可讀信號進(jìn)行通知， 當(dāng)文件描述符關(guān)聯(lián)的內(nèi)核寫緩沖區(qū)不滿，有空間可以寫入，就一直發(fā)出可寫信號進(jìn)行通知 LT模式支持阻塞和非阻塞兩種方式。epoll默認(rèn)的模式是LT。

邊緣觸發(fā)(edge-triggered)

當(dāng)文件描述符關(guān)聯(lián)的讀內(nèi)核緩沖區(qū)由空轉(zhuǎn)化為非空的時(shí)候，則發(fā)出可讀信號進(jìn)行通知， 當(dāng)文件描述符關(guān)聯(lián)的內(nèi)核寫緩沖區(qū)由滿轉(zhuǎn)化為不滿的時(shí)候，則發(fā)出可寫信號進(jìn)行通知 兩者的區(qū)別在哪里呢？水平觸發(fā)是只要讀緩沖區(qū)有數(shù)據(jù)，就會一直觸發(fā)可讀信號，而邊緣觸發(fā)僅僅在空變?yōu)榉强盏臅r(shí)候通知一次，

LT(level triggered)是缺省的工作方式，并且同時(shí)支持block和no-block socket.在這種做法中，內(nèi)核告訴你一個文件描述符是否就緒了，然后你可以對這個就緒的fd進(jìn)行IO操作。如果你不作任何操作，內(nèi)核還是會繼續(xù)通知你的，所以，這種模式編程出錯誤可能性要小一點(diǎn)。傳統(tǒng)的select/poll都是這種模型的代表．

水平觸發(fā)和邊緣觸發(fā)模式區(qū)別

1. 讀緩沖區(qū)剛開始是空的
2. 讀緩沖區(qū)寫入2KB數(shù)據(jù)
3. 水平觸發(fā)和邊緣觸發(fā)模式此時(shí)都會發(fā)出可讀信號
4. 收到信號通知后，讀取了1kb的數(shù)據(jù)，讀緩沖區(qū)還剩余1KB數(shù)據(jù)
5. 水平觸發(fā)會再次進(jìn)行通知，而邊緣觸發(fā)不會再進(jìn)行通知

所以，邊緣觸發(fā)需要一次性的把緩沖區(qū)的數(shù)據(jù)讀完為止，也就是一直讀，直到讀到EGAIN為止，EGAIN說明緩沖區(qū)已經(jīng)空了，因?yàn)檫@一點(diǎn)，邊緣觸發(fā)需要設(shè)置文件句柄為非阻塞

//水平觸發(fā)
ret = read(fd, buf, sizeof(buf));

//邊緣觸發(fā)
while(true) {
    ret = read(fd, buf, sizeof(buf);
    if (ret == EAGAIN) break;
}
Copy

設(shè)置方法

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

epoll的事件注冊函數(shù)，它不同與select()是在監(jiān)聽事件時(shí)告訴內(nèi)核要監(jiān)聽什么類型的事件，而是在這里先注冊要監(jiān)聽的事件類型。

第一個參數(shù)是epoll_create()的返回值，

第二個參數(shù)表示動作，用三個宏來表示： EPOLL_CTL_ADD：注冊新的fd到epfd中； EPOLL_CTL_MOD：修改已經(jīng)注冊的fd的監(jiān)聽事件； EPOLL_CTL_DEL：從epfd中刪除一個fd；

第三個參數(shù)是需要監(jiān)聽的fd，第四個參數(shù)是告訴內(nèi)核需要監(jiān)聽什么事，struct epoll_event結(jié)構(gòu)如下：

struct epoll_event {
__uint32_t events; /* Epoll events /
epoll_data_t data; / User data variable */
};
Copy

events可以是以下幾個宏的集合： EPOLLIN ：表示對應(yīng)的文件描述符可以讀（包括對端SOCKET正常關(guān)閉）； EPOLLOUT：表示對應(yīng)的文件描述符可以寫； EPOLLPRI：表示對應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀（這里應(yīng)該表示有帶外數(shù)據(jù)到來）； EPOLLERR：表示對應(yīng)的文件描述符發(fā)生錯誤； EPOLLHUP：表示對應(yīng)的文件描述符被掛斷； EPOLLET： 將EPOLL設(shè)為邊緣觸發(fā)(Edge Triggered)模式，這是相對于水平觸發(fā)(Level Triggered)來說的。 EPOLLONESHOT：只監(jiān)聽一次事件，當(dāng)監(jiān)聽完這次事件之后，如果還需要繼續(xù)監(jiān)聽這個socket的話，需要再次把這個socket加入到EPOLL隊(duì)列里。

使用示例

使用ET的例子:nginx

使用LT的例子:redis

三 代碼演示

下面是一段不完整的代碼且格式不對，意在表述上面的過程，去掉了一些模板代碼。

#define IPADDRESS   "127.0.0.1"
#define PORT        8787
#define MAXSIZE     1024
#define LISTENQ     5
#define FDSIZE      1000
#define EPOLLEVENTS 100

listenfd = socket_bind(IPADDRESS,PORT);

struct epoll_event events[EPOLLEVENTS];

//創(chuàng)建一個描述符
epollfd = epoll_create(FDSIZE);

//添加監(jiān)聽描述符事件
add_event(epollfd,listenfd,EPOLLIN);

//循環(huán)等待
for ( ; ; ){
    //該函數(shù)返回已經(jīng)準(zhǔn)備好的描述符事件數(shù)目
    ret = epoll_wait(epollfd,events,EPOLLEVENTS,-1);
    //處理接收到的連接
    handle_events(epollfd,events,ret,listenfd,buf);
}

//事件處理函數(shù)
static void handle_events(int epollfd,struct epoll_event *events,int num,int listenfd,char *buf)
{
     int i;
     int fd;
     //進(jìn)行遍歷;這里只要遍歷已經(jīng)準(zhǔn)備好的io事件。num并不是當(dāng)初epoll_create時(shí)的FDSIZE。
     for (i = 0;i < num;i++)
     {
         fd = events[i].data.fd;
        //根據(jù)描述符的類型和事件類型進(jìn)行處理
         if ((fd == listenfd) &&(events[i].events & EPOLLIN))
            handle_accpet(epollfd,listenfd);
         else if (events[i].events & EPOLLIN)
            do_read(epollfd,fd,buf);
         else if (events[i].events & EPOLLOUT)
            do_write(epollfd,fd,buf);
     }
}

//添加事件
static void add_event(int epollfd,int fd,int state){
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    epoll_ctl(epollfd,EPOLL_CTL_ADD,fd,&ev);
}

//處理接收到的連接
static void handle_accpet(int epollfd,int listenfd){
     int clifd;     
     struct sockaddr_in cliaddr;     
     socklen_t  cliaddrlen;     
     clifd = accept(listenfd,(struct sockaddr*)&cliaddr,&cliaddrlen);     
     if (clifd == -1)         
     perror("accpet error:");     
     else {         
         printf("accept a new client: %s:%d\n",inet_ntoa(cliaddr.sin_addr),cliaddr.sin_port);                       //添加一個客戶描述符和事件         
         add_event(epollfd,clifd,EPOLLIN);     
     } 
}

//讀處理
static void do_read(int epollfd,int fd,char *buf){
    int nread;
    nread = read(fd,buf,MAXSIZE);
    if (nread == -1)     {         
        perror("read error:");         
        close(fd); //記住close fd        
        delete_event(epollfd,fd,EPOLLIN); //刪除監(jiān)聽 
    }
    else if (nread == 0)     {         
        fprintf(stderr,"client close.\n");
        close(fd); //記住close fd       
        delete_event(epollfd,fd,EPOLLIN); //刪除監(jiān)聽 
    }     
    else {         
        printf("read message is : %s",buf);        
        //修改描述符對應(yīng)的事件，由讀改為寫         
        modify_event(epollfd,fd,EPOLLOUT);     
    } 
}

//寫處理
static void do_write(int epollfd,int fd,char *buf) {     
    int nwrite;     
    nwrite = write(fd,buf,strlen(buf));     
    if (nwrite == -1){         
        perror("write error:");        
        close(fd);   //記住close fd       
        delete_event(epollfd,fd,EPOLLOUT);  //刪除監(jiān)聽    
    }else{
        modify_event(epollfd,fd,EPOLLIN); 
    }    
    memset(buf,0,MAXSIZE); 
}

//刪除事件
static void delete_event(int epollfd,int fd,int state) {
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,&ev);
}

//修改事件
static void modify_event(int epollfd,int fd,int state){     
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&ev);
}

//注：另外一端我就省了
Copy

四 epoll總結(jié)

在 select/poll中，進(jìn)程只有在調(diào)用一定的方法后，內(nèi)核才對所有監(jiān)視的文件描述符進(jìn)行掃描，而epoll事先通過epoll_ctl()來注冊一 個文件描述符，一旦基于某個文件描述符就緒時(shí)，內(nèi)核會采用類似callback的回調(diào)機(jī)制，迅速激活這個文件描述符，當(dāng)進(jìn)程調(diào)用epoll_wait() 時(shí)便得到通知。(此處去掉了遍歷文件描述符，而是通過監(jiān)聽回調(diào)的的機(jī)制。這正是epoll的魅力所在。)

epoll的優(yōu)點(diǎn)主要是一下幾個方面：

1. 監(jiān)視的描述符數(shù)量不受限制，它所支持的FD上限是最大可以打開文件的數(shù)目，這個數(shù)字一般遠(yuǎn)大于2048,舉個例子,在1GB內(nèi)存的機(jī)器上大約是10萬左 右，具體數(shù)目可以cat /proc/sys/fs/file-max察看,一般來說這個數(shù)目和系統(tǒng)內(nèi)存關(guān)系很大。select的最大缺點(diǎn)就是進(jìn)程打開的fd是有數(shù)量限制的。這對 于連接數(shù)量比較大的服務(wù)器來說根本不能滿足。雖然也可以選擇多進(jìn)程的解決方案( Apache就是這樣實(shí)現(xiàn)的)，不過雖然linux上面創(chuàng)建進(jìn)程的代價(jià)比較小，但仍舊是不可忽視的，加上進(jìn)程間數(shù)據(jù)同步遠(yuǎn)比不上線程間同步的高效，所以也不是一種完美的方案。
2. IO的效率不會隨著監(jiān)視fd的數(shù)量的增長而下降。epoll不同于select和poll輪詢的方式，而是通過每個fd定義的回調(diào)函數(shù)來實(shí)現(xiàn)的。只有就緒的fd才會執(zhí)行回調(diào)函數(shù)。

如果沒有大量的idle -connection或者dead-connection，epoll的效率并不會比select/poll高很多，但是當(dāng)遇到大量的idle- connection，就會發(fā)現(xiàn)epoll的效率大大高于select/poll。

1.4.4. select,poll,epoll的區(qū)別

歡迎群共同進(jìn)步：
QQ群：1007576722