1、什么是零拷貝

維基上是這么描述零拷貝的：零拷貝描述的是CPU不執(zhí)行拷貝數(shù)據(jù)從一個存儲區(qū)域到另一個存儲區(qū)域的任務(wù)，這通常用于通過網(wǎng)絡(luò)傳輸一個文件時以減少CPU周期和內(nèi)存帶寬。

2、零拷貝給我們帶來的好處

• 1、減少甚至完全避免不要的CPU拷貝，讓CPU解脫出來去執(zhí)行其他的任務(wù)
• 2、減少內(nèi)存帶寬的占用
• 3、通常零拷貝技術(shù)還能夠減少用戶空間和操作系統(tǒng)內(nèi)核空間的上下文切換

3、 零拷貝的實現(xiàn)

• 實際的實現(xiàn)并沒有真正的標(biāo)準(zhǔn)，取決于操作系統(tǒng)如何實現(xiàn)這一點，零拷貝本質(zhì)完全依賴操作系統(tǒng)，操作系統(tǒng)支持就有，不支持就沒有，不依賴Java本身（HeapByteBuffer,DirectByteBuffer），NIO只是解決部分拷貝過程、
• 零拷貝實現(xiàn)了內(nèi)存的數(shù)據(jù)重用性 減少拷貝過程次數(shù)來提高性能

4、傳統(tǒng)I/O

• 在Java中，我們可以通過InputStream從源數(shù)據(jù)中讀取數(shù)據(jù)流到一個緩沖區(qū)里，然后再將它們輸入到OutputStream里。我們知道，這種IO方式傳輸效率是比較低的。那么，當(dāng)使用上面的代碼時操作系統(tǒng)會發(fā)生什么情況：

  
  
  傳統(tǒng)I/O

1、JVM發(fā)出read() 系統(tǒng)調(diào)用。
2、OS上下文切換到內(nèi)核模式（第一次上下文切換）并將數(shù)據(jù)讀取到內(nèi)核空間緩沖區(qū)。(第一次拷貝：hardware ----> kernel buffer）
3、OS內(nèi)核然后將數(shù)據(jù)復(fù)制到用戶空間緩沖區(qū)(第二次拷貝: kernel buffer --> user buffer)，然后read系統(tǒng)調(diào)用返回。而系統(tǒng)調(diào)用的返回又會導(dǎo)致一次內(nèi)核空間到用戶空間的上下文切換(第二次上下文切換)。
4、JVM處理代碼邏輯并發(fā)送write（）系統(tǒng)調(diào)用。
5、OS上下文切換到內(nèi)核模式(第三次上下文切換)并從用戶空間緩沖區(qū)復(fù)制數(shù)據(jù)到內(nèi)核空間緩沖區(qū)(第三次拷貝: user buffer ——> kernel buffer)。
6、write系統(tǒng)調(diào)用返回，導(dǎo)致內(nèi)核空間到用戶空間的再次上下文切換(第四次上下文切換)。將內(nèi)核空間緩沖區(qū)中的數(shù)據(jù)寫到hardware(第四次拷貝: kernel buffer ——> hardware)。

• 總的來說，傳統(tǒng)的I/O操作進行了4次用戶空間與內(nèi)核空間的上下文切換，以及4次數(shù)據(jù)拷貝。顯然在這個用例中，從內(nèi)核空間到用戶空間內(nèi)存的復(fù)制是完全不必要的，因為除了將數(shù)據(jù)轉(zhuǎn)儲到不同的buffer之外，我們沒有做任何其他的事情。所以，我們能不能直接從hardware讀取數(shù)據(jù)到kernel buffer后，再從kernel buffer寫到目標(biāo)地點不就好了。為了解決這種不必要的數(shù)據(jù)復(fù)制，操作系統(tǒng)出現(xiàn)了零拷貝的概念。注意，不同的操作系統(tǒng)對零拷貝的實現(xiàn)各不相同。在這里我們介紹linux下的零拷貝實現(xiàn)。

5、通過sendfile實現(xiàn)的零拷貝I/O

• sendfile

1、發(fā)出sendfile系統(tǒng)調(diào)用，導(dǎo)致用戶空間到內(nèi)核空間的上下文切換(第一次上下文切換)。通過DMA將磁盤文件中的內(nèi)容拷貝到內(nèi)核空間緩沖區(qū)中(第一次拷貝: hard driver ——> kernel buffer)。
2、然后再將數(shù)據(jù)從內(nèi)核空間緩沖區(qū)拷貝到內(nèi)核中與socket相關(guān)的緩沖區(qū)中(第二次拷貝: kernel buffer ——> socket buffer)。
3、sendfile系統(tǒng)調(diào)用返回，導(dǎo)致內(nèi)核空間到用戶空間的上下文切換(第二次上下文切換)。通過DMA引擎將內(nèi)核空間socket緩沖區(qū)中的數(shù)據(jù)傳遞到協(xié)議引擎(第三次拷貝: socket buffer ——> protocol engine)。

• 通過sendfile實現(xiàn)的零拷貝I/O只使用了2次用戶空間與內(nèi)核空間的上下文切換，以及3次數(shù)據(jù)的拷貝。你可能會說操作系統(tǒng)仍然需要在內(nèi)核內(nèi)存空間中復(fù)制數(shù)據(jù)（kernel buffer —>socket buffer）。 是的，但從操作系統(tǒng)的角度來看，這已經(jīng)是零拷貝，因為沒有數(shù)據(jù)從內(nèi)核空間復(fù)制到用戶空間。 內(nèi)核需要復(fù)制的原因是因為通用硬件DMA訪問需要連續(xù)的內(nèi)存空間（因此需要緩沖區(qū)）。 但是，如果硬件支持scatter-and-gather，這是可以避免的。

6、帶有DMA收集拷貝功能的sendfile實現(xiàn)的I/O

DMA

• 1、發(fā)出sendfile系統(tǒng)調(diào)用，導(dǎo)致用戶空間到內(nèi)核空間的上下文切換(第一次上下文切換)。通過DMA引擎將磁盤文件中的內(nèi)容拷貝到內(nèi)核空間緩沖區(qū)中(第一次拷貝: hard drive —> kernel buffer)。

• 2、沒有數(shù)據(jù)拷貝到socket緩沖區(qū)。取而代之的是只有相應(yīng)的描述符信息會被拷貝到相應(yīng)的socket緩沖區(qū)當(dāng)中。該描述符包含了兩方面的信息：a)kernel buffer的內(nèi)存地址；b)kernel buffer的偏移量。

• 3、sendfile系統(tǒng)調(diào)用返回，導(dǎo)致內(nèi)核空間到用戶空間的上下文切換(第二次上下文切換)。DMA gather copy根據(jù)socket緩沖區(qū)中描述符提供的位置和偏移量信息直接將內(nèi)核空間緩沖區(qū)中的數(shù)據(jù)拷貝到協(xié)議引擎上(第二次拷貝: kernel buffer ——> protocol engine)，這樣就避免了最后一次CPU數(shù)據(jù)拷貝。

• 4、帶有DMA收集拷貝功能的sendfile實現(xiàn)的I/O只使用了2次用戶空間與內(nèi)核空間的上下文切換，以及2次數(shù)據(jù)的拷貝，而且這2次的數(shù)據(jù)拷貝都是非CPU拷貝。這樣一來我們就實現(xiàn)了最理想的零拷貝I/O傳輸了，不需要任何一次的CPU拷貝，以及最少的上下文切換。

許多Web服務(wù)器都支持零拷貝，如Tomcat和Apache。 例如Apache的相關(guān)文檔可以在這里找到，但默認情況下關(guān)閉。
注意：Java的NIO通過transferTo（）提供了這個功能。

• 傳統(tǒng)I/O用戶空間緩沖區(qū)中存有數(shù)據(jù)，因此應(yīng)用程序能夠?qū)Υ藬?shù)據(jù)進行修改等操作；而sendfile零拷貝消除了所有內(nèi)核空間緩沖區(qū)與用戶空間緩沖區(qū)之間的數(shù)據(jù)拷貝過程，因此sendfile零拷貝I/O的實現(xiàn)是完成在內(nèi)核空間中完成的，這對于應(yīng)用程序來說就無法對數(shù)據(jù)進行操作了。為了解決這個問題，Linux提供了mmap零拷貝來實現(xiàn)我們的需求。

7 通過mmap實現(xiàn)的零拷貝I/O

• mmap(內(nèi)存映射)是一個比sendfile昂貴但優(yōu)于傳統(tǒng)I/O的方法。

  
  
  mmap

• 1、發(fā)出mmap系統(tǒng)調(diào)用，導(dǎo)致用戶空間到內(nèi)核空間的上下文切換(第一次上下文切換)。通過DMA引擎將磁盤文件中的內(nèi)容拷貝到內(nèi)核空間緩沖區(qū)中(第一次拷貝: hard drive ——> kernel buffer)。

• 2、mmap系統(tǒng)調(diào)用返回，導(dǎo)致內(nèi)核空間到用戶空間的上下文切換(第二次上下文切換)。接著用戶空間和內(nèi)核空間共享這個緩沖區(qū)，而不需要將數(shù)據(jù)從內(nèi)核空間拷貝到用戶空間。因為用戶空間和內(nèi)核空間共享了這個緩沖區(qū)數(shù)據(jù)，所以用戶空間就可以像在操作自己緩沖區(qū)中數(shù)據(jù)一般操作這個由內(nèi)核空間共享的緩沖區(qū)數(shù)據(jù)。

• 3、發(fā)出write系統(tǒng)調(diào)用，導(dǎo)致用戶空間到內(nèi)核空間的上下文切換(第三次上下文切換)。將數(shù)據(jù)從內(nèi)核空間緩沖區(qū)拷貝到內(nèi)核空間socket相關(guān)聯(lián)的緩沖區(qū)(第二次拷貝: kernel buffer ——> socket buffer)。

• 4、write系統(tǒng)調(diào)用返回，導(dǎo)致內(nèi)核空間到用戶空間的上下文切換(第四次上下文切換)。通過DMA引擎將內(nèi)核空間socket緩沖區(qū)中的數(shù)據(jù)傳遞到協(xié)議引擎(第三次拷貝: socket buffer ——> protocol engine)

通過mmap實現(xiàn)的零拷貝I/O進行了4次用戶空間與內(nèi)核空間的上下文切換，以及3次數(shù)據(jù)拷貝。其中3次數(shù)據(jù)拷貝中包括了2次DMA拷貝和1次CPU拷貝。明顯，它與傳統(tǒng)I/O相比僅僅少了1次內(nèi)核空間緩沖區(qū)和用戶空間緩沖區(qū)之間的CPU拷貝。這樣的好處是，我們可以將整個文件或者整個文件的一部分映射到內(nèi)存當(dāng)中，用戶直接對內(nèi)存中對文件進行操作，然后是由操作系統(tǒng)來進行相關(guān)的頁面請求并將內(nèi)存的修改寫入到文件當(dāng)中。我們的應(yīng)用程序只需要處理內(nèi)存的數(shù)據(jù)，這樣可以實現(xiàn)非常迅速的I/O操作。

8、NIO DirectByteBuffer

• Java NIO引入了用于通道的緩沖區(qū)的ByteBuffer。 ByteBuffer有三個主要的實現(xiàn)：HeapByteBuffer、DirectByteBuffer、MappedByteBuffer

HeapByteBuffer

• 在調(diào)用ByteBuffer.allocate（）時使用。 它被稱為堆，因為它保存在JVM的堆空間中，因此你可以獲得所有優(yōu)勢，如GC支持和緩存優(yōu)化。 但是，它不是頁面對齊的，這意味著如果你需要通過JNI與本地代碼交談，JVM將不得不復(fù)制到對齊的緩沖區(qū)空間。

  
  
  HeapByteBuffer

DirectByteBuffer

• 在調(diào)用ByteBuffer.allocateDirect（）時使用。 JVM將使用malloc（）在堆空間之外分配內(nèi)存空間。 因為它不是由JVM管理的，所以你的內(nèi)存空間是頁面對齊的，不受GC影響，這使得它成為處理本地代碼的完美選擇。 然而，你要C程序員一樣，自己管理這個內(nèi)存，必須自己分配和釋放內(nèi)存來防止內(nèi)存泄漏。

  
  
  DirectByteBuffer

MappedByteBuffer

• 在調(diào)用FileChannel.map（）時使用。 與DirectByteBuffer類似，這也是JVM堆外部的情況。 它基本上作為OS mmap（）系統(tǒng)調(diào)用的包裝函數(shù)，以便代碼直接操作映射的物理內(nèi)存數(shù)據(jù)

  
  
  MappedByteBuffer

9 總結(jié)

• 零拷貝是操作系統(tǒng)底層的一種實現(xiàn)，我們在網(wǎng)絡(luò)編程中，利用操作系統(tǒng)這一特性，可以大大提高數(shù)據(jù)傳輸?shù)男?。這也是目前網(wǎng)絡(luò)編程框架中都會采用的方式，理解好零拷貝，有助于我們進一步學(xué)習(xí)Netty等網(wǎng)絡(luò)通信框架的底層原理。
• 以上文章來自 Java NIO學(xué)習(xí)筆記四（零拷貝詳解）進行個人整理
  推薦看堆外內(nèi)存、零拷貝、DirectByteBuffer