kafka中的消費者在讀取服務端的數據時,需要將服務端的磁盤文件通過網絡發(fā)送到消費者進程,網絡發(fā)送需要經過幾種網絡節(jié)點。如下圖所示:

image.png
傳統(tǒng)的讀取文件數據并發(fā)送到網絡的步驟如下:
(1)操作系統(tǒng)將數據從磁盤文件中讀取到內核空間的頁面緩存;
(2)應用程序將數據從內核空間讀入用戶空間緩沖區(qū);
(3)應用程序將讀到數據寫回內核空間并放入socket緩沖區(qū);
(4)操作系統(tǒng)將數據從socket緩沖區(qū)復制到網卡接口,此時數據才能通過網絡發(fā)送。
通常情況下,Kafka的消息會有多個訂閱者,生產者發(fā)布的消息會被不同的消費者多次消費,為了優(yōu)化這個流程,Kafka使用了“零拷貝技術”,如下圖所示:

image.png
“零拷貝技術”只用將磁盤文件的數據復制到頁面緩存中一次,然后將數據從頁面緩存直接發(fā)送到網絡中(發(fā)送給不同的訂閱者時,都可以使用同一個頁面緩存),避免了重復復制操作。
如果有10個消費者,傳統(tǒng)方式下,數據復制次數為4*10=40次,而使用“零拷貝技術”只需要1+10=11次,一次為從磁盤復制到頁面緩存,10次表示10個消費者各自讀取一次頁面緩存。