linux IO

1 基礎(chǔ)介紹
  1.1 存儲(chǔ)介質(zhì)
  1.2 文件描述符
  1.3 標(biāo)準(zhǔn)io
  1.4 直接io
2 IO模式
  2.1 阻塞I/O (blocking IO)
  2.2 非阻塞 I/O（nonblocking IO）
  2.3 I/O 多路復(fù)用（ IO multiplexing）
  2.4 異步 I/O（asynchronous IO）
  2.5 信號驅(qū)動(dòng)I/O (signal driven I/O)
  2.6 I/O模式總結(jié)
    2.6.1 blocking和non-blocking的區(qū)別
    2.6.2 synchronous IO和asynchronous IO的區(qū)別
3 其他
  3.1 mmap和read/write區(qū)別
  3.2 iostat
4 參考

1 基礎(chǔ)介紹

1.1 存儲(chǔ)介質(zhì)

現(xiàn)代計(jì)算機(jī)物理存儲(chǔ)機(jī)制金字塔如下圖所示：

物理存儲(chǔ)金字塔

各級存儲(chǔ)方式速度和容量：

image.png

1.2 文件描述符

文件描述符（File descriptor）是計(jì)算機(jī)科學(xué)中的一個(gè)術(shù)語，是一個(gè)用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一個(gè)非負(fù)整數(shù)。實(shí)際上，它是一個(gè)索引值，指向內(nèi)核為每一個(gè)進(jìn)程所維護(hù)的該進(jìn)程打開文件的記錄表。當(dāng)程序打開一個(gè)現(xiàn)有文件或者創(chuàng)建一個(gè)新文件時(shí)，內(nèi)核向進(jìn)程返回一個(gè)文件描述符。在程序設(shè)計(jì)中，一些涉及底層的程序編寫往往會(huì)圍繞著文件描述符展開。但是文件描述符這一概念往往只適用于UNIX、Linux這樣的操作系統(tǒng)。

1.3 標(biāo)準(zhǔn)io

在 Linux 中，這種訪問文件的方式是通過兩個(gè)系統(tǒng)調(diào)用實(shí)現(xiàn)的：read() 和 write()。當(dāng)應(yīng)用程序調(diào)用read() 系統(tǒng)調(diào)用讀取一塊數(shù)據(jù)的時(shí)候，如果該塊數(shù)據(jù)已經(jīng)在內(nèi)存中了，那么就直接從內(nèi)存中讀出該數(shù)據(jù)并返回給應(yīng)用程序；如果該塊數(shù)據(jù)不在內(nèi)存中，那么數(shù)據(jù)會(huì)被從磁盤上讀到頁高緩存中去，然后再從頁緩存中拷貝到用戶地址空間中去。如果一個(gè)進(jìn)程讀取某個(gè)文件，那么其他進(jìn)程就都不可以讀取或者更改該文件；對于寫數(shù)據(jù)操作來說，當(dāng)一個(gè)進(jìn)程調(diào)用了 write() 系統(tǒng)調(diào)用往某個(gè)文件中寫數(shù)據(jù)的時(shí)候，數(shù)據(jù)會(huì)先從用戶地址空間拷貝到操作系統(tǒng)內(nèi)核地址空間的頁緩存中去，然后才被寫到磁盤上。但是對于這種標(biāo)準(zhǔn)的訪問文件的方式來說，在數(shù)據(jù)被寫到頁緩存中的時(shí)候，write() 系統(tǒng)調(diào)用就算執(zhí)行完成，并不會(huì)等數(shù)據(jù)完全寫入到磁盤上。
　　Linux 在這里采用的是我們前邊提到的延遲寫機(jī)制（ deferred writes ）。如果用戶采用的是延遲寫機(jī)制（ deferred writes ），那么應(yīng)用程序就完全不需要等到數(shù)據(jù)全部被寫回到磁盤，數(shù)據(jù)只要被寫到頁緩存中去就可以了。在延遲寫機(jī)制的情況下，操作系統(tǒng)會(huì)定期地將放在頁緩存中的數(shù)據(jù)刷到磁盤上。

1.4 直接io

凡是通過直接 I/O 方式進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)均直接在用戶地址空間的緩沖區(qū)和磁盤之間直接進(jìn)行傳輸，完全不需要頁緩存的支持。操作系統(tǒng)層提供的緩存往往會(huì)使應(yīng)用程序在讀寫數(shù)據(jù)的時(shí)候獲得更好的性能，但是對于某些特殊的應(yīng)用程序，比如說數(shù)據(jù)庫管理系統(tǒng)這類應(yīng)用，他們更傾向于選擇他們自己的緩存機(jī)制，因?yàn)閿?shù)據(jù)庫管理系統(tǒng)往往比操作系統(tǒng)更了解數(shù)據(jù)庫中存放的數(shù)據(jù)，數(shù)據(jù)庫管理系統(tǒng)可以提供一種更加有效的緩存機(jī)制來提高數(shù)據(jù)庫中數(shù)據(jù)的存取性能。

2 IO模式

對于一次標(biāo)準(zhǔn)IO訪問（以read舉例），數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。所以說，當(dāng)一個(gè)read操作發(fā)生時(shí)，它會(huì)經(jīng)歷兩個(gè)階段：

  1. 等待數(shù)據(jù)準(zhǔn)備 (Waiting for the data to be ready)
  2. 將數(shù)據(jù)從內(nèi)核拷貝到進(jìn)程中 (Copying the data from the kernel to the process)

正式因?yàn)檫@兩個(gè)階段，linux系統(tǒng)產(chǎn)生了下面五種網(wǎng)絡(luò)模式的方案。

  • 阻塞 I/O（blocking IO）
  • 非阻塞 I/O（nonblocking IO）
  • I/O 多路復(fù)用（ IO multiplexing）
  • 信號驅(qū)動(dòng) I/O（ signal driven IO）
  • 異步 I/O（asynchronous IO）

2.1 阻塞I/O (blocking IO)

在linux中，默認(rèn)情況下所有的socket都是blocking， 一個(gè)典型的讀操作流程大概是這樣：

阻塞I/O

當(dāng)用戶進(jìn)程調(diào)用了recvfrom這個(gè)系統(tǒng)調(diào)用，kernel就開始了IO的第一個(gè)階段：準(zhǔn)備數(shù)據(jù)（對于網(wǎng)絡(luò)IO來說，很多時(shí)候數(shù)據(jù)在一開始還沒有到達(dá)。比如，還沒有收到一個(gè)完整的UDP包。這個(gè)時(shí)候kernel就要等待足夠的數(shù)據(jù)到來）。這個(gè)過程需要等待，也就是說數(shù)據(jù)被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中是需要一個(gè)過程的。而在用戶進(jìn)程這邊，整個(gè)進(jìn)程會(huì)被阻塞（當(dāng)然，是進(jìn)程自己選擇的阻塞）。當(dāng)kernel一直等到數(shù)據(jù)準(zhǔn)備好了，它就會(huì)將數(shù)據(jù)從kernel中拷貝到用戶內(nèi)存，然后kernel返回結(jié)果，用戶進(jìn)程才解除block的狀態(tài)，重新運(yùn)行起來。

2.2 非阻塞 I/O（nonblocking IO）

linux下，可以通過設(shè)置socket使其變?yōu)閚on-blocking。當(dāng)對一個(gè)non-blocking socket執(zhí)行讀操作時(shí)，流程是這個(gè)樣子：

非阻塞I/O

當(dāng)用戶進(jìn)程發(fā)出read操作時(shí)，如果kernel中的數(shù)據(jù)還沒有準(zhǔn)備好，那么它并不會(huì)block用戶進(jìn)程，而是立刻返回一個(gè)error。從用戶進(jìn)程角度講 ，它發(fā)起一個(gè)read操作后，并不需要等待，而是馬上就得到了一個(gè)結(jié)果。用戶進(jìn)程判斷結(jié)果是一個(gè)error時(shí)，它就知道數(shù)據(jù)還沒有準(zhǔn)備好，于是它可以再次發(fā)送read操作。一旦kernel中的數(shù)據(jù)準(zhǔn)備好了，并且又再次收到了用戶進(jìn)程的system call，那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存，然后返回。

2.3 I/O 多路復(fù)用（ IO multiplexing）

IO multiplexing就是我們說的select，poll，epoll，有些地方也稱這種IO方式為event driven IO。select/epoll的好處就在于單個(gè)process就可以同時(shí)處理多個(gè)網(wǎng)絡(luò)連接的IO。它的基本原理就是select，poll，epoll這個(gè)function會(huì)不斷的輪詢所負(fù)責(zé)的所有socket，當(dāng)某個(gè)socket有數(shù)據(jù)到達(dá)了，就通知用戶進(jìn)程。

I/O多路復(fù)用

當(dāng)用戶進(jìn)程調(diào)用了select，那么整個(gè)進(jìn)程會(huì)被block，而同時(shí)，kernel會(huì)“監(jiān)視”所有select負(fù)責(zé)的socket，當(dāng)任何一個(gè)socket中的數(shù)據(jù)準(zhǔn)備好了，select就會(huì)返回。這個(gè)時(shí)候用戶進(jìn)程再調(diào)用read操作，將數(shù)據(jù)從kernel拷貝到用戶進(jìn)程。
I/O 多路復(fù)用的特點(diǎn)是通過一種機(jī)制一個(gè)進(jìn)程能同時(shí)等待多個(gè)文件描述符，而這些文件描述符（套接字描述符）其中的任意一個(gè)進(jìn)入讀就緒狀態(tài)，select()函數(shù)就可以返回。
這個(gè)圖和blocking IO的圖其實(shí)并沒有太大的不同，事實(shí)上，還更差一些。因?yàn)檫@里需要使用兩個(gè)system call (select 和 recvfrom)，而blocking IO只調(diào)用了一個(gè)system call (recvfrom)。但是，用select的優(yōu)勢在于它可以同時(shí)處理多個(gè)connection。

所以，如果處理的連接數(shù)不是很高的話，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延遲還更大。select/epoll的優(yōu)勢并不是對于單個(gè)連接能處理得更快，而是在于能處理更多的連接。）

在IO multiplexing Model中，實(shí)際中，對于每一個(gè)socket，一般都設(shè)置成為non-blocking，但是，如上圖所示，整個(gè)用戶的process其實(shí)是一直被block的。只不過process是被select這個(gè)函數(shù)block，而不是被socket IO給block。

2.4 異步 I/O（asynchronous IO）

linux下的asynchronous IO其實(shí)用得很少。先看一下它的流程：

異步I/O

當(dāng)應(yīng)用程序調(diào)用aio_read的時(shí)候，內(nèi)核一方面去取數(shù)據(jù)報(bào)內(nèi)容返回，另外一方面將程序控制權(quán)還給應(yīng)用進(jìn)程，應(yīng)用進(jìn)程繼續(xù)處理其他事務(wù)。這樣應(yīng)用進(jìn)程就是一種非阻塞的狀態(tài)。

當(dāng)內(nèi)核的數(shù)據(jù)報(bào)就緒的時(shí)候，是由內(nèi)核將數(shù)據(jù)報(bào)拷貝到應(yīng)用進(jìn)程中，返回給aio_read中定義好的函數(shù)處理程序。

2.5 信號驅(qū)動(dòng)I/O (signal driven I/O)

信號驅(qū)動(dòng)I/O模型

信號驅(qū)動(dòng)IO模型是應(yīng)用進(jìn)程告訴內(nèi)核：當(dāng)你的數(shù)據(jù)報(bào)準(zhǔn)備好的時(shí)候，給我發(fā)送一個(gè)信號哈，并且調(diào)用我的信號處理函數(shù)來獲取數(shù)據(jù)報(bào)。這個(gè)模型是由信號進(jìn)行驅(qū)動(dòng)

與I/O multiplexing (select and poll)相比，它的優(yōu)勢是，免去了select的阻塞與輪詢，當(dāng)有活躍套接字時(shí)，由注冊的handler處理，但是copy date過程依然是阻塞的，所以屬于非阻塞同步IO。

2.6 I/O模式總結(jié)

2.6.1 blocking和non-blocking的區(qū)別

調(diào)用blocking IO會(huì)一直block住對應(yīng)的進(jìn)程直到操作完成，而non-blocking IO在kernel還準(zhǔn)備數(shù)據(jù)的情況下會(huì)立刻返回。

2.6.2 synchronous IO和asynchronous IO的區(qū)別

POSIX對于異步IO和非阻塞IO的定義如下：

  • A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes;
  • An asynchronous I/O operation does not cause the requesting process to be blocked;

定義中所指的”IO operation”是指真實(shí)的IO操作，就是例子中的recvfrom這個(gè)system call。non-blocking IO在執(zhí)行recvfrom這個(gè)system call的時(shí)候，如果kernel的數(shù)據(jù)沒有準(zhǔn)備好，這時(shí)候不會(huì)block進(jìn)程。但是，當(dāng)kernel中數(shù)據(jù)準(zhǔn)備好的時(shí)候，recvfrom會(huì)將數(shù)據(jù)從kernel拷貝到用戶內(nèi)存中，這個(gè)時(shí)候進(jìn)程是被block了，在這段時(shí)間內(nèi)，進(jìn)程是被block的。

而asynchronous IO則不一樣，當(dāng)進(jìn)程發(fā)起IO 操作之后，就直接返回再也不理睬了，直到kernel發(fā)送一個(gè)信號，告訴進(jìn)程說IO完成。在這整個(gè)過程中，進(jìn)程完全沒有被block。

I/O模式比較

3 其他

3.1 mmap和read/write區(qū)別

常規(guī)文件操作需要從磁盤到頁緩存再到用戶主存的兩次數(shù)據(jù)拷貝。而mmap操控文件，只需要從磁盤到用戶主存的一次數(shù)據(jù)拷貝過程。說白了，mmap的關(guān)鍵點(diǎn)是實(shí)現(xiàn)了用戶空間和內(nèi)核空間的數(shù)據(jù)直接交互而省去了空間不同數(shù)據(jù)不通的繁瑣過程，因此mmap效率更高。
　但是linux內(nèi)核對于read操作有readahead機(jī)制，在讀取文件的時(shí)候會(huì)預(yù)讀一部分文件內(nèi)容，在順序訪問文件的時(shí)候read效率更高。mmap更適合隨機(jī)訪問文件的場景。

3.2 iostat

通過iostat方便查看CPU、網(wǎng)卡、tty設(shè)備、磁盤、CD-ROM 等等設(shè)備的活動(dòng)情況, 負(fù)載信息。

命令格式
iostat[參數(shù)][時(shí)間][次數(shù)]
命令參數(shù)
-C 顯示CPU使用情況
-d 顯示磁盤使用情況
-k 以 KB 為單位顯示
-m 以 M 為單位顯示
-N 顯示磁盤陣列(LVM) 信息
-n 顯示NFS 使用情況
-p[磁盤] 顯示磁盤和分區(qū)的情況
-t 顯示終端和CPU的信息
-x 顯示詳細(xì)信息
-V 顯示版本信息

命令執(zhí)行范例

iostat -x 1 1
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          15.57    1.25    3.11    0.04    0.00   80.04

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.35   258.72    3.00   32.47   147.38  1851.91   112.73     0.03    0.80    2.35    0.66   0.74   2.63

cpu屬性值說明：

%user：CPU處在用戶模式下的時(shí)間百分比。
%nice：CPU處在帶NICE值的用戶模式下的時(shí)間百分比。
%system：CPU處在系統(tǒng)模式下的時(shí)間百分比。
%iowait：CPU等待輸入輸出完成時(shí)間的百分比，表示在一個(gè)采樣周期內(nèi)有百分之幾的時(shí)間屬于以下情況：CPU空閑、并且有仍未完成的I/O請求。iowait高并不代表等待I/O的進(jìn)程數(shù)量增多了，也不能證明等待I/O的總時(shí)間增加了，還需要結(jié)合其他指標(biāo)來看。
%steal：管理程序維護(hù)另一個(gè)虛擬處理器時(shí)，虛擬CPU的無意識等待時(shí)間百分比。
%idle：CPU空閑時(shí)間百分比。

disk屬性值說明：

  • rrqm/s: 每秒進(jìn)行 merge 的讀操作數(shù)目。即 rmerge/s
  • wrqm/s: 每秒進(jìn)行 merge 的寫操作數(shù)目。即 wmerge/s
  • r/s: 每秒完成的讀 I/O 設(shè)備次數(shù)。即 rio/s
  • w/s: 每秒完成的寫 I/O 設(shè)備次數(shù)。即 wio/s
  • rsec/s: 每秒讀扇區(qū)數(shù)。即 rsect/s
  • wsec/s: 每秒寫扇區(qū)數(shù)。即 wsect/s
  • rkB/s: 每秒讀K字節(jié)數(shù)。是 rsect/s 的一半，因?yàn)槊可葏^(qū)大小為512字節(jié)。
  • wkB/s: 每秒寫K字節(jié)數(shù)。是 wsect/s 的一半。
  • avgrq-sz: 平均每次設(shè)備I/O操作的數(shù)據(jù)大小 (扇區(qū))。
  • avgqu-sz: 平均I/O隊(duì)列長度。
  • await: 平均每次設(shè)備I/O操作的等待時(shí)間 (毫秒)。
  • svctm: 平均每次設(shè)備I/O操作的服務(wù)時(shí)間 (毫秒)。
  • %util: 一秒中有百分之多少的時(shí)間用于 I/O 操作，即被io消耗的cpu百分比

形象的比喻：

  • r/s+w/s 類似于交款人的總數(shù)
  • 平均隊(duì)列長度(avgqu-sz)類似于單位時(shí)間里平均排隊(duì)人的個(gè)數(shù)
  • 平均服務(wù)時(shí)間(svctm)類似于收銀員的收款速度
  • 平均等待時(shí)間(await)類似于平均每人的等待時(shí)間
  • 平均I/O數(shù)據(jù)(avgrq-sz)類似于平均每人所買的東西多少
  • I/O 操作率 (%util)類似于收款臺前有人排隊(duì)的時(shí)間比例

4 參考

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 上一篇《聊聊同步、異步、阻塞與非阻塞》[http://www.itdecent.cn/p/aed6067eeac...
    七寸知架構(gòu)閱讀 141,606評論 57贊 445
  • 轉(zhuǎn)自: http://www.itdecent.cn/p/486b0965c296 http://www.jia...
    demop閱讀 4,129評論 1贊 21
  • 這兩天了解了一下關(guān)于NIO方面的知識，網(wǎng)上關(guān)于這一塊的介紹只是介紹了一下基本用法，沒有系統(tǒng)的解釋NIO與阻塞、非阻...
    Ruheng閱讀 7,251評論 5贊 48
  • 一 依舊是遮天蔽日交錯(cuò)不息的樹枝，他已經(jīng)記不得將頭仰起了多少個(gè)九十度，還是感受不到太陽。哪怕是所謂的尊貴的赫利俄斯...
    錘小王閱讀 258評論 1贊 1
  • [TAS-023] 誤判 激勵(lì)和績效 基本法: 算不上什么原創(chuàng)， 但是拒絕轉(zhuǎn)載 實(shí)驗(yàn)性文體-仿游戲速攻表演 TAS...
    yzhangac閱讀 471評論 0贊 50

友情鏈接更多精彩內(nèi)容