Kafka的零拷貝技術

kafka中的消費者在讀取服務端的數據時,需要將服務端的磁盤文件通過網絡發(fā)送到消費者進程,網絡發(fā)送需要經過幾種網絡節(jié)點。如下圖所示:


image.png

傳統(tǒng)的讀取文件數據并發(fā)送到網絡的步驟如下:
(1)操作系統(tǒng)將數據從磁盤文件中讀取到內核空間的頁面緩存;
(2)應用程序將數據從內核空間讀入用戶空間緩沖區(qū);
(3)應用程序將讀到數據寫回內核空間并放入socket緩沖區(qū);
(4)操作系統(tǒng)將數據從socket緩沖區(qū)復制到網卡接口,此時數據才能通過網絡發(fā)送。

通常情況下,Kafka的消息會有多個訂閱者,生產者發(fā)布的消息會被不同的消費者多次消費,為了優(yōu)化這個流程,Kafka使用了“零拷貝技術”,如下圖所示:


image.png

“零拷貝技術”只用將磁盤文件的數據復制到頁面緩存中一次,然后將數據從頁面緩存直接發(fā)送到網絡中(發(fā)送給不同的訂閱者時,都可以使用同一個頁面緩存),避免了重復復制操作。

如果有10個消費者,傳統(tǒng)方式下,數據復制次數為4*10=40次,而使用“零拷貝技術”只需要1+10=11次,一次為從磁盤復制到頁面緩存,10次表示10個消費者各自讀取一次頁面緩存。

?著作權歸作者所有,轉載或內容合作請聯系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容