golang中bufio包

一、介紹go標準庫中的bufio
最近用golang寫了一個處理文件的腳本,由于其中涉及到了文件讀寫,開始使用golang中的 io 包,后來發(fā)現(xiàn)golang 中提供了一個bufio的包,使用這個包可以大幅提高文件讀寫的效率,于是在網上搜索同樣的文件讀寫為什么bufio 要比io 的讀寫更快速呢?根據網上的資料和閱讀源碼,以下來詳細解釋下bufio的高效如何實現(xiàn)的。

bufio 包介紹
bufio包實現(xiàn)了有緩沖的I/O。它包裝一個io.Reader或io.Writer接口對象,創(chuàng)建另一個也實現(xiàn)了該接口,且同時還提供了緩沖和一些文本I/O的幫助函數(shù)的對象。

以上為官方包的介紹,在其中我們能了解到的信息如下:

bufio 是通過緩沖來提高效率

簡單的說就是,把文件讀取進緩沖(內存)之后再讀取的時候就可以避免文件系統(tǒng)的io 從而提高速度。同理,在進行寫操作時,先把文件寫入緩沖(內存),然后由緩沖寫入文件系統(tǒng)??赐暌陨辖忉層腥丝赡軙硎纠Щ罅?,直接把 內容->文件 和 內容->緩沖->文件相比, 緩沖區(qū)好像沒有起到作用嘛。其實緩沖區(qū)的設計是為了存儲多次的寫入,最后一口氣把緩沖區(qū)內容寫入文件。下面會詳細解釋

bufio 封裝了io.Reader或io.Writer接口對象,并創(chuàng)建另一個也實現(xiàn)了該接口的對象

io.Reader或io.Writer 接口實現(xiàn)read() 和 write() 方法,對于實現(xiàn)這個接口的對象都是可以使用這兩個方法的


image.png

注明:介紹內容來自博主LiangWenT
,原文鏈接:https://blog.csdn.net/LiangWenT/article/details/78995468,在查找資料時,發(fā)現(xiàn)這篇博客的內容很好理解

bufio包實現(xiàn)了緩存IO。它包裝了io.Reader和io.Write對象,創(chuàng)建了另外的Reader和Writer對象,它們也實現(xiàn)了io.Reader和io.Write接口,具有緩存。注意:緩存是放在主存中,既然是保存在主存里,斷電會丟失數(shù)據,那么要及時保存數(shù)據。

二、常用內容
1、Reader類型

type Reader struct {
    buf             []byte      // 緩存
    rd              io.Reader   // 底層的io.Reader 
    r, w            int
    err             error       // 讀過程中遇到的錯誤
    lastByte        int         // 最后一次讀到的字節(jié)      
    lastRuneSize    int         // 最后一次讀到的Rune的大小  
}

NewReaderSize

func NewReaderSize(rd io.Reader, size int) *Reader

作用:NewReaderSize將rd封裝成一個帶緩存的bufio.Reader對象。緩存大小由size指定(如果小于16則會被設為16)。如果rd的基類型就是有足夠緩存的bufio.Reader類型,則直接將rd轉換為基類型返回。
NewReader

func NewReader(rd io.Reader) *Reader

funcReader相當于NewReaderSize(rd, 4096)
Peek

func (b *Reader) Peek(n int) ([]byte, error)

Peek返回緩存的一個切片,該切片引用緩存中前n個字節(jié)的數(shù)據,該操作不會將數(shù)據讀出,只是引用,引用的數(shù)據在下一次讀取操作之前有效的。如果切片長度小于n,則返回一個錯誤信息說明原因。如果n大于緩存的總大小,則返回ErrBufferFull。
Read

func (b *Reader) Read(p []byte) (n int, err error)

Read從b中數(shù)據到p中,返回讀出的字節(jié)數(shù)和遇到的錯誤。如果緩存不為空,則只能讀出緩沖中的數(shù)據,不會從底層io.Reader中提取數(shù)據,如果緩存為空,則:
1、len(p) >= 緩存大小,則跳過緩存,直接從底層io.Reader中讀出到p中
2、len(p)< 緩存大小,則先將數(shù)據從底層io.Reader中讀取到緩存中,再從緩存讀取到p中。
Buffered

func (b *Reader) Buffered() int

Buffered返回緩存中未讀取的數(shù)據的長度。
Discard

func (b *Reader) Discard(n int) (discarded int, err error)

Discard跳過后續(xù)的n個字節(jié)的數(shù)據,返回跳過的字節(jié)數(shù)。

Writer類型和方法
write結構

type Write struct {
    err error       // 寫過程中遇到的錯誤
    buf []byte      // 緩存
    n   int         // 當前緩存中的字節(jié)數(shù)
    wr  io.Writer   // 底層的io.Writer對象
}

NewWriteSize

func NewWriteSize(wr io.Write, size int) *Write

NewWriterSize將wr封裝成一個帶緩存的bufio.Writer對象,緩存大小由size指定(如果小于4096則會被設置未4096)。
NewWrite

func NewWriter(wr io.Writer) *Writer

NewWriter相等于NewWriterSize(wr, 4096)

WriteString

func (b *Write) WriteString(s string) (int, error)

WriteString功能同Write,只不過寫入的是字符串
WriteRune

func (b *Writer) WriteRune(r rune) (size int, err error)

WriteRune向b寫入r的UTF-8編碼,返回r的編碼長度。
Flush

func (b *Writer) Flush() error

Available

func (b *Writer) Available() int

Available 返回緩存中未使用的空間的長度
Buffered

func (b *Writer) Buffered() int

Buffered返回緩存中未提交的數(shù)據長度
Reset

func (b *Write) Reset(w io.Writer)

Reset將b的底層Write重新指定為w,同時丟棄緩存中的所有數(shù)據,復位所有標記和錯誤信息。相當于創(chuàng)建了一個新的bufio.Writer。

GO中還提供了Scanner類型,處理一些比較簡單的場景。如處理按行讀取輸入序列或空格分隔的詞等。
內容來自:https://blog.csdn.net/wangshubo1989/article/details/70177928

參考鏈接:
1)https://blog.csdn.net/LiangWenT/article/details/78995468
2)https://blog.csdn.net/wangshubo1989/article/details/70177928

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

友情鏈接更多精彩內容