Linux IO模式 select poll epoll詳解

概念說明

  1. 內(nèi)核態(tài)(內(nèi)核空間)和用戶態(tài)(用戶空間)的區(qū)別和聯(lián)系
  • 用戶空間是用戶進(jìn)程所在的內(nèi)存區(qū)域,系統(tǒng)空間是操作系統(tǒng)所在的內(nèi)存區(qū)域
  • 為了保證內(nèi)核安全,處于用戶態(tài)的程序只能訪問用戶空間,而處于內(nèi)核態(tài)的程序可以訪問用戶空間和內(nèi)核空間。

2.文件描述符fd

  • linux將所有設(shè)備都當(dāng)做文件來處理,文件描述符來表示每個(gè)文件對象。
  • 當(dāng)程序打開一個(gè)現(xiàn)有文件或創(chuàng)建一個(gè)新文件時(shí), 內(nèi)核想進(jìn)城返回一個(gè)文件描述符。

3.緩存IO

  • Linux的緩存IO機(jī)制中,操作系統(tǒng)會(huì)將IO的數(shù)據(jù)緩存在文件系統(tǒng)的頁緩存中,也就是說數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū),然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。

IO模式
對于一次IO訪問(以read為例),數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中,然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。所以說,當(dāng)一個(gè)read操作發(fā)生時(shí),會(huì)經(jīng)歷兩個(gè)階段:
1.等待數(shù)據(jù)準(zhǔn)備(Waiting for the data to be ready)
2.將數(shù)據(jù)從內(nèi)核拷貝到進(jìn)程中(Copy the data from kernel to the process)

linux系統(tǒng)產(chǎn)生了下面五種網(wǎng)絡(luò)模式的方案:

  • 1.阻塞IO (blocking IO)
  • 2.非阻塞IO (nonblocking IO)
  • 3.IO多路復(fù)用 (IO multiplexing)
  • 4.信號(hào)驅(qū)動(dòng)IO (signal driven IO) 不常用
  • 5.異步IO (asynchonous IO)

1.阻塞模式

阻塞IO流程圖
  • 1.當(dāng)用戶進(jìn)程調(diào)用了系統(tǒng)函數(shù)read,kernel就開始了IO的第一個(gè)階段,準(zhǔn)備數(shù)據(jù)(此時(shí)有可能還沒有到一個(gè)完整的包,這個(gè)時(shí)候kernel就需要等待足夠的數(shù)據(jù)到來),這時(shí)用戶進(jìn)程是阻塞的(當(dāng)然是進(jìn)程自己選擇的阻塞)。
  • 2.當(dāng)kernel一直等到數(shù)據(jù)準(zhǔn)備好,他就會(huì)將數(shù)據(jù)從kernel中拷貝到用戶內(nèi)存,然后kernel返回結(jié)果,用戶進(jìn)程才接觸block的狀態(tài),重新運(yùn)行起來。
    所以blockingIO的特點(diǎn)就是在IO執(zhí)行的兩個(gè)階段都被block了

2.非阻塞IO

Linux下??梢酝ㄟ^設(shè)置socket使其變?yōu)閚on-block。當(dāng)對一個(gè)non-blocking socket執(zhí)行讀操作時(shí):


非阻塞IO流程圖
  • 1.當(dāng)用戶進(jìn)程發(fā)出read操作時(shí),如果kernel中還沒有準(zhǔn)備好數(shù)據(jù),那么它并不會(huì)block用戶進(jìn)程,而是立刻返回一個(gè)error。從用戶進(jìn)程角度講,它發(fā)起一個(gè)read操作后,并不需要等待。而是馬上就得到了一個(gè)結(jié)果。
  • 2.用戶進(jìn)程判斷結(jié)果是一個(gè)error時(shí) ,它就知道數(shù)據(jù)還沒有準(zhǔn)備好,那么它可以再次發(fā)送read操作。
  • 3.一旦kernel中的數(shù)據(jù)準(zhǔn)備好了,并且又再次收到了用戶進(jìn)程的系統(tǒng)調(diào)用,那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存,然后返回。
    所以,nonblockingIO的特點(diǎn)是用戶進(jìn)程需要不斷的主動(dòng)詢問kernel數(shù)據(jù)好了沒有。

3.IO多路復(fù)用

IO多路復(fù)用就是我們說的select,poll,epoll有些地方也成這種IO方式為事件驅(qū)動(dòng)IO,這種好處就在于單個(gè)process就可以同時(shí)處理多個(gè)網(wǎng)絡(luò)連接的IO.它的基本原理就是select、poll、epoll這個(gè)function會(huì)不斷的輪詢所負(fù)責(zé)的所有socket,只要其中一個(gè)輸數(shù)據(jù)到達(dá),就通知用戶線程。


IO多路復(fù)用流程圖
  • 1.當(dāng)用戶進(jìn)程調(diào)用了select,那么整個(gè)用戶進(jìn)程就會(huì)被block ,而同時(shí)kernel會(huì)監(jiān)視所有select負(fù)責(zé)的socket,當(dāng)任何一個(gè)socket中的數(shù)據(jù)準(zhǔn)備好,select就會(huì)返回,這個(gè)時(shí)候用戶進(jìn)程在調(diào)用read操作,將數(shù)據(jù)從kernel拷貝到用戶進(jìn)程。
  • 2.這里需要使用兩個(gè)系統(tǒng)調(diào)用(select和read),而blocking IO 只調(diào)用了一個(gè)系統(tǒng)調(diào)用(read)。但是用多路復(fù)用的優(yōu)勢在于它可以同時(shí)處理多個(gè)connection。
  • 3.如果處理的連接說不是很高的話,使用IO多路復(fù)用不一定比多線程+阻塞IO的性能好,可能延遲還更大。IO多路復(fù)用的優(yōu)勢在于它可以處理更多的連接數(shù),而不是對單個(gè)鏈接處理的更好。

所以,IO多路復(fù)用的特點(diǎn)是通過一種機(jī)制一個(gè)進(jìn)程能同時(shí)等待多個(gè)文件秒數(shù)據(jù),而這些文件描述符(socket描述符),其中的任意一個(gè)進(jìn)入就緒狀態(tài),select()函數(shù)就可以返回。

4.異步IO
異步IO流程圖

1.用戶發(fā)起read操作之后,立刻就開始做其他事情。另一方面從kernel的角度,當(dāng)它收到一個(gè)asynchronous read之后,首先會(huì)立刻返回,所以不會(huì)對用戶進(jìn)程產(chǎn)生任何block。
2.kernel會(huì)等待數(shù)據(jù)準(zhǔn)備完成,然后將數(shù)據(jù)拷貝到用戶內(nèi)存,當(dāng)這一切都完成之后,kernel會(huì)給用戶進(jìn)程發(fā)送一個(gè)signal,告訴它操作已經(jīng)完成了。

select、poll、epoll區(qū)別

select:IO多路復(fù)用 ---它僅僅知道有IO時(shí)間發(fā)生,卻不知道是哪個(gè)流,只能無差別輪詢所有流找出能讀寫數(shù)據(jù)的流,對他們進(jìn)行操作 時(shí)間復(fù)雜度為O(n).
poll:IO多路復(fù)用 --- 本質(zhì)上和select無區(qū)別,但是它沒有最大連接數(shù)限制,原因是用鏈表來存儲(chǔ) 時(shí)間復(fù)雜度為O(n)
epoll:IO多路復(fù)用 --- event poll,不同于輪詢,epoll會(huì)把哪個(gè)流發(fā)生了怎樣的IO事件通知我們。所以我們說epoll實(shí)際上是基于事件驅(qū)動(dòng)的(每個(gè)事件關(guān)聯(lián)上資源描述符fd),此時(shí)我們對這些流的操作都是有意義的。時(shí)間復(fù)雜度O(1)


總結(jié):

最大連接數(shù):

select:單個(gè)進(jìn)程所能打開的最大連接數(shù)有限,當(dāng)然可以進(jìn)行修改,然后重新編譯內(nèi)核。但是性能可能會(huì)收到影響。
poll:本質(zhì)上和select沒有區(qū)別,但是沒有最大連接數(shù)限制。原因是用鏈表來存儲(chǔ)。
epoll:雖然連接數(shù)有上限,但是很大,1G內(nèi)存的機(jī)器上可以打開10萬左右連接,2G內(nèi)存的機(jī)器可以20萬。

FD劇增后帶來的IO效率問題

select:因?yàn)槊看握{(diào)用都會(huì)進(jìn)行線性遍歷,所以隨著FD增加會(huì)造成遍歷速度線性下降。
poll:同select
epoll:因?yàn)槭褂檬录|發(fā)回調(diào)機(jī)制,只有活躍的socket才會(huì)主動(dòng)調(diào)用callback,所以沒有線性下降的問題,但是如果所有socket都很活躍,會(huì)比select和poll效率低。

消息傳遞方式

select:內(nèi)核需要將消息傳遞到用戶空間,需要內(nèi)核拷貝動(dòng)作
poll:內(nèi)核需要將消息拷貝到用戶空間,需要內(nèi)核拷貝動(dòng)作
epoll:通過內(nèi)核和用戶空間共享一塊內(nèi)存來實(shí)現(xiàn)(直接內(nèi)存)不需要拷貝動(dòng)作。

1.表面上看epoll的性能最好,但是在連接數(shù)少并且鏈接都十分活躍的情況下,select和poll的性能可能比epoll好,畢竟epoll的通知機(jī)制需要很多回調(diào)函數(shù)。
2.select低效是因?yàn)槊看味夹枰喸?,但低效也是相對的,視情況而定??梢酝ㄟ^良好的設(shè)計(jì)改善。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容