概念
首先要說明幾個概念：
- 用戶空間和內(nèi)核空間
- 進(jìn)程切換
- 進(jìn)程的阻塞
- 文件描述符
- 緩存 I/O
用戶空間與內(nèi)核空間
現(xiàn)在操作系統(tǒng)都是采用虛擬存儲器，那么對32位操作系統(tǒng)而言，它的尋址空間（虛擬存儲空間）為4G（2的32次方）。操作系統(tǒng)的核心是內(nèi)核，獨立于普通的應(yīng)用程序，可以訪問受保護(hù)的內(nèi)存空間，也有訪問底層硬件設(shè)備的所有權(quán)限。為了保證用戶進(jìn)程不能直接操作內(nèi)核（kernel），保證內(nèi)核的安全，操心系統(tǒng)將虛擬空間劃分為兩部分，一部分為內(nèi)核空間，一部分為用戶空間。針對linux操作系統(tǒng)而言，將最高的1G字節(jié)（從虛擬地址0xC0000000到0xFFFFFFFF），供內(nèi)核使用，稱為內(nèi)核空間，而將較低的3G字節(jié)（從虛擬地址0x00000000到0xBFFFFFFF），供各個進(jìn)程使用，稱為用戶空間。
進(jìn)程切換
為了控制進(jìn)程的執(zhí)行，內(nèi)核必須有能力掛起正在CPU上運行的進(jìn)程，并恢復(fù)以前掛起的某個進(jìn)程的執(zhí)行。這種行為被稱為進(jìn)程切換。因此可以說，任何進(jìn)程都是在操作系統(tǒng)內(nèi)核的支持下運行的，是與內(nèi)核緊密相關(guān)的。
從一個進(jìn)程的運行轉(zhuǎn)到另一個進(jìn)程上運行，這個過程中經(jīng)過下面這些變化：
- 保存處理機(jī)上下文，包括程序計數(shù)器和其他寄存器。
- 更新PCB信息。
- 把進(jìn)程的PCB移入相應(yīng)的隊列，如就緒、在某事件阻塞等隊列。
- 選擇另一個進(jìn)程執(zhí)行，并更新其PCB。
- 更新內(nèi)存管理的數(shù)據(jù)結(jié)構(gòu)。
- 恢復(fù)處理機(jī)上下文。
進(jìn)程的阻塞
正在執(zhí)行的進(jìn)程，由于期待的某些事件未發(fā)生，如請求系統(tǒng)資源失敗、等待某種操作的完成、新數(shù)據(jù)尚未到達(dá)或無新工作做等，則由系統(tǒng)自動執(zhí)行阻塞原語(Block)，使自己由運行狀態(tài)變?yōu)樽枞麪顟B(tài)?？梢姡M(jìn)程的阻塞是進(jìn)程自身的一種主動行為，也因此只有處于運行態(tài)的進(jìn)程（獲得CPU），才可能將其轉(zhuǎn)為阻塞狀態(tài)。當(dāng)進(jìn)程進(jìn)入阻塞狀態(tài)，是不占用CPU資源的。
文件描述符fd
文件描述符（File descriptor）是計算機(jī)科學(xué)中的一個術(shù)語，是一個用于表述指向文件的引用的抽象化概念。
文件描述符在形式上是一個非負(fù)整數(shù)。實際上，它是一個索引值，指向內(nèi)核為每一個進(jìn)程所維護(hù)的該進(jìn)程打開文件的記錄表。當(dāng)程序打開一個現(xiàn)有文件或者創(chuàng)建一個新文件時，內(nèi)核向進(jìn)程返回一個文件描述符。在程序設(shè)計中，一些涉及底層的程序編寫往往會圍繞著文件描述符展開。但是文件描述符這一概念往往只適用于UNIX、Linux這樣的操作系統(tǒng)。
緩存 I/O
緩存 I/O 又被稱作標(biāo)準(zhǔn) I/O，大多數(shù)文件系統(tǒng)的默認(rèn) I/O 操作都是緩存 I/O。在 Linux 的緩存 I/O 機(jī)制中，操作系統(tǒng)會將 I/O 的數(shù)據(jù)緩存在文件系統(tǒng)的頁緩存（ page cache ）中，也就是說，數(shù)據(jù)會先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。
緩存 I/O 的缺點：
數(shù)據(jù)在傳輸過程中需要在應(yīng)用程序地址空間和內(nèi)核進(jìn)行多次數(shù)據(jù)拷貝操作，這些數(shù)據(jù)拷貝操作所帶來的 CPU 以及內(nèi)存開銷是非常大的。
IO模式
對于一次IO訪問（以read舉例），數(shù)據(jù)會先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。所以說，當(dāng)一個read操作發(fā)生時，它會經(jīng)歷兩個階段：
- 等待數(shù)據(jù)準(zhǔn)備 (Waiting for the data to be ready)
- 將數(shù)據(jù)從內(nèi)核拷貝到進(jìn)程中 (Copying the data from the kernel to the process)
正式因為這兩個階段，linux系統(tǒng)產(chǎn)生了下面五種網(wǎng)絡(luò)模式的方案。
- 阻塞 I/O（blocking IO）
- 非阻塞 I/O（nonblocking IO）
- I/O 多路復(fù)用（ IO multiplexing）
- 異步 I/O（asynchronous IO）
注：由于signal driven IO在實際中并不常用，所以我這只提及剩下的四種IO Model。
阻塞 I/O（blocking IO）
當(dāng)用戶進(jìn)程調(diào)用了recvfrom這個系統(tǒng)調(diào)用，kernel就開始了IO的第一個階段：準(zhǔn)備數(shù)據(jù)（對于網(wǎng)絡(luò)IO來說，很多時候數(shù)據(jù)在一開始還沒有到達(dá)。比如，還沒有收到一個完整的UDP包。這個時候kernel就要等待足夠的數(shù)據(jù)到來）。這個過程需要等待，也就是說數(shù)據(jù)被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中是需要一個過程的。
在用戶進(jìn)程這邊，整個進(jìn)程會被阻塞（當(dāng)然，是進(jìn)程自己選擇的阻塞）。當(dāng)kernel一直等到數(shù)據(jù)準(zhǔn)備好了，它就會將數(shù)據(jù)從kernel中拷貝到用戶內(nèi)存，然后kernel返回結(jié)果，用戶進(jìn)程才解除block的狀態(tài)，重新運行起來。
所以，blocking IO的特點就是在IO執(zhí)行的兩個階段都被block了。
非阻塞 I/O（nonblocking IO）
當(dāng)用戶進(jìn)程發(fā)出read操作時，如果kernel中的數(shù)據(jù)還沒有準(zhǔn)備好，那么它并不會block用戶進(jìn)程，而是立刻返回一個error。從用戶進(jìn)程角度講 ，它發(fā)起一個read操作后，并不需要等待，而是馬上就得到了一個結(jié)果。用戶進(jìn)程判斷結(jié)果是一個error時，它就知道數(shù)據(jù)還沒有準(zhǔn)備好，于是它可以再次發(fā)送read操作。
一旦kernel中的數(shù)據(jù)準(zhǔn)備好了，并且又再次收到了用戶進(jìn)程的system call，那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存，然后返回。
所以，nonblocking IO的特點是用戶進(jìn)程需要不斷的主動詢問kernel數(shù)據(jù)好了沒有。
I/O 多路復(fù)用（ IO multiplexing）
IO multiplexing就是我們說的select，poll，epoll，有些地方也稱這種IO方式為event driven IO。select/epoll的好處就在于單個process
就可以同時處理多個網(wǎng)絡(luò)連接的IO。
它的基本原理就是select，poll，epoll這個function會不斷的輪詢所負(fù)責(zé)的所有socket，當(dāng)某個socket有數(shù)據(jù)到達(dá)了，就通知用戶進(jìn)程。
當(dāng)用戶進(jìn)程調(diào)用了select，那么整個進(jìn)程會被block，而同時，kernel會“監(jiān)視”所有select負(fù)責(zé)的socket，當(dāng)任何一個socket中的數(shù)據(jù)準(zhǔn)備好了，select就會返回。這個時候用戶進(jìn)程再調(diào)用read操作，將數(shù)據(jù)從kernel拷貝到用戶進(jìn)程。
所以，I/O 多路復(fù)用的特點是通過一種機(jī)制一個進(jìn)程能同時等待多個文件描述符，而這些文件描述符（套接字描述符）其中的任意一個進(jìn)入讀就緒狀態(tài)，select()函數(shù)就可以返回。
所以，如果處理的連接數(shù)不是很高的話，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延遲還更大。select/epoll的優(yōu)勢并不是對于單個連接能處理得更快，而是在于能處理更多的連接。）
異步 I/O（asynchronous IO）
用戶進(jìn)程發(fā)起read操作之后，立刻就可以開始去做其它的事。而另一方面，從kernel的角度，當(dāng)它受到一個asynchronous read之后，首先它會立刻返回，所以不會對用戶進(jìn)程產(chǎn)生任何block。然后，kernel會等待數(shù)據(jù)準(zhǔn)備完成，然后將數(shù)據(jù)拷貝到用戶內(nèi)存，當(dāng)這一切都完成之后，kernel會給用戶進(jìn)程發(fā)送一個signal，告訴它read操作完成了。
各個IO Model的比較如圖所示：
I/O 多路復(fù)用之select、poll、epoll
select，poll，epoll都是IO多路復(fù)用的機(jī)制。I/O多路復(fù)用就是通過一種機(jī)制，一個進(jìn)程可以監(jiān)視多個描述符，一旦某個描述符就緒（一般是讀就緒或者寫就緒），能夠通知程序進(jìn)行相應(yīng)的讀寫操作。但select，poll，epoll本質(zhì)上都是同步I/O，因為他們都需要在讀寫事件就緒后自己負(fù)責(zé)進(jìn)行讀寫，也就是說這個讀寫過程是阻塞的，而異步I/O則無需自己負(fù)責(zé)進(jìn)行讀寫，異步I/O的實現(xiàn)會負(fù)責(zé)把數(shù)據(jù)從內(nèi)核拷貝到用戶空間。
select
int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
- 缺點：
1.句柄受限：單個進(jìn)程監(jiān)測的fd受限制，默認(rèn)下是1024個文件描述符；
- 重復(fù)拷貝：需要將監(jiān)聽文件描述符數(shù)據(jù)結(jié)構(gòu)重復(fù)的拷貝到內(nèi)核；
3.句柄輪訓(xùn)：輪詢式檢查文件描述符集合中的每個fd可讀可寫狀態(tài)，IO效率會隨著描述符集合增大而降低；
優(yōu)化：
可以采用一個父進(jìn)程專門accept，父進(jìn)程均衡的分配多個子進(jìn)程分別處理一部分的鏈接，子進(jìn)程采用select模型監(jiān)測自己負(fù)責(zé)的fd的可讀可寫。
poll
int poll (struct pollfd *fds, unsigned int nfds, int timeout);
不同與select使用三個位圖來表示三個fdset的方式，poll使用一個 pollfd的指針實現(xiàn)。
- 缺點：有select的所有缺點，除了句柄限制；
epoll
- epoll操作過程
int epoll_create(int size)；//創(chuàng)建一個epoll的句柄，size用來告訴內(nèi)核這個監(jiān)聽的數(shù)目一共有多大
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
int epoll_create(int size);
創(chuàng)建一個epoll的句柄，size用來告訴內(nèi)核這個監(jiān)聽的數(shù)目一共有多大，這個參數(shù)不同于select()中的第一個參數(shù)，給出最大監(jiān)聽的fd+1的值，參數(shù)size并不是限制了epoll所能監(jiān)聽的描述符最大個數(shù)，只是對內(nèi)核初始分配內(nèi)部數(shù)據(jù)結(jié)構(gòu)的一個建議。
當(dāng)創(chuàng)建好epoll句柄后，它就會占用一個fd值，在linux下如果查看/proc/進(jìn)程id/fd/，是能夠看到這個fd的，所以在使用完epoll后，必須調(diào)用close()關(guān)閉，否則可能導(dǎo)致fd被耗盡。int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
函數(shù)是對指定描述符fd執(zhí)行op操作。
- epfd：是epoll_create()的返回值。
- op：表示op操作，用三個宏來表示：添加EPOLL_CTL_ADD，刪除EPOLL_CTL_DEL，修改EPOLL_CTL_MOD。分別添加、刪除和修改對fd的監(jiān)聽事件。
- fd：是需要監(jiān)聽的fd（文件描述符）
- epoll_event：是告訴內(nèi)核需要監(jiān)聽什么事
- int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待epfd上的io事件，最多返回maxevents個事件。
參數(shù)events用來從內(nèi)核得到事件的集合，maxevents告之內(nèi)核這個events有多大，這個maxevents的值不能大于創(chuàng)建epoll_create()時的size，參數(shù)timeout是超時時間（毫秒，0會立即返回，-1將不確定，也有說法說是永久阻塞）。該函數(shù)返回需要處理的事件數(shù)目，如返回0表示已超時。
- 優(yōu)點：
1.支持進(jìn)程打開的最大文件描述符，很好的解決了C10K問題；
2.IO效率不隨FD數(shù)目增加而線性下降，epoll不是通過輪詢，而是通過在等待的描述符上注冊回調(diào)函數(shù)，當(dāng)事件發(fā)生時，回調(diào)函數(shù)負(fù)責(zé)把發(fā)生的事件存儲在就緒事件鏈表中，最后寫到用戶空間；
3.使用mmap加速內(nèi)核與用戶空間的消息傳遞
在select/poll中，進(jìn)程只有在調(diào)用一定的方法后，內(nèi)核才對所有監(jiān)視的文件描述符進(jìn)行掃描，而epoll事先通過epoll_ctl()來注冊一個文件描述符，一旦基于某個文件描述符就緒時，內(nèi)核會采用類似callback的回調(diào)機(jī)制，迅速激活這個文件描述符，當(dāng)進(jìn)程調(diào)用epoll_wait()時便得到通知。(此處去掉了遍歷文件描述符，而是通過監(jiān)聽回調(diào)的的機(jī)制。這正是epoll的魅力所在。)
- 工作模式
epoll對文件描述符的操作有兩種模式：LT（level trigger）和ET（edge trigger）。LT模式是默認(rèn)模式，LT模式與ET模式的區(qū)別如下：
LT模式：當(dāng)epoll_wait檢測到描述符事件發(fā)生并將此事件通知應(yīng)用程序，應(yīng)用程序可以不立即處理該事件。下次調(diào)用epoll_wait時，會再次響應(yīng)應(yīng)用程序并通知此事件。
ET模式：當(dāng)epoll_wait檢測到描述符事件發(fā)生并將此事件通知應(yīng)用程序，應(yīng)用程序必須立即處理該事件。如果不處理，下次調(diào)用epoll_wait時，不會再次響應(yīng)應(yīng)用程序并通知此事件。
ET模式在很大程度上減少了epoll事件被重復(fù)觸發(fā)的次數(shù)，因此效率要比LT模式高。epoll工作在ET模式的時候，必須使用非阻塞套接口，以避免由于一個文件句柄的阻塞讀/阻塞寫操作把處理多個文件描述符的任務(wù)餓死。
