一、介紹go標準庫中的bufio
最近用golang寫了一個處理文件的腳本,由于其中涉及到了文件讀寫,開始使用golang中的 io 包,后來發(fā)現(xiàn)golang 中提供了一個bufio的包,使用這個包可以大幅提高文件讀寫的效率,于是在網上搜索同樣的文件讀寫為什么bufio 要比io 的讀寫更快速呢?根據網上的資料和閱讀源碼,以下來詳細解釋下bufio的高效如何實現(xiàn)的。
bufio 包介紹
bufio包實現(xiàn)了有緩沖的I/O。它包裝一個io.Reader或io.Writer接口對象,創(chuàng)建另一個也實現(xiàn)了該接口,且同時還提供了緩沖和一些文本I/O的幫助函數(shù)的對象。
以上為官方包的介紹,在其中我們能了解到的信息如下:
bufio 是通過緩沖來提高效率
簡單的說就是,把文件讀取進緩沖(內存)之后再讀取的時候就可以避免文件系統(tǒng)的io 從而提高速度。同理,在進行寫操作時,先把文件寫入緩沖(內存),然后由緩沖寫入文件系統(tǒng)??赐暌陨辖忉層腥丝赡軙硎纠Щ罅?,直接把 內容->文件 和 內容->緩沖->文件相比, 緩沖區(qū)好像沒有起到作用嘛。其實緩沖區(qū)的設計是為了存儲多次的寫入,最后一口氣把緩沖區(qū)內容寫入文件。下面會詳細解釋
bufio 封裝了io.Reader或io.Writer接口對象,并創(chuàng)建另一個也實現(xiàn)了該接口的對象
io.Reader或io.Writer 接口實現(xiàn)read() 和 write() 方法,對于實現(xiàn)這個接口的對象都是可以使用這兩個方法的

注明:介紹內容來自博主LiangWenT
,原文鏈接:https://blog.csdn.net/LiangWenT/article/details/78995468,在查找資料時,發(fā)現(xiàn)這篇博客的內容很好理解
bufio包實現(xiàn)了緩存IO。它包裝了io.Reader和io.Write對象,創(chuàng)建了另外的Reader和Writer對象,它們也實現(xiàn)了io.Reader和io.Write接口,具有緩存。注意:緩存是放在主存中,既然是保存在主存里,斷電會丟失數(shù)據,那么要及時保存數(shù)據。
二、常用內容
1、Reader類型
type Reader struct {
buf []byte // 緩存
rd io.Reader // 底層的io.Reader
r, w int
err error // 讀過程中遇到的錯誤
lastByte int // 最后一次讀到的字節(jié)
lastRuneSize int // 最后一次讀到的Rune的大小
}
NewReaderSize
func NewReaderSize(rd io.Reader, size int) *Reader
作用:NewReaderSize將rd封裝成一個帶緩存的bufio.Reader對象。緩存大小由size指定(如果小于16則會被設為16)。如果rd的基類型就是有足夠緩存的bufio.Reader類型,則直接將rd轉換為基類型返回。
NewReader
func NewReader(rd io.Reader) *Reader
funcReader相當于NewReaderSize(rd, 4096)
Peek
func (b *Reader) Peek(n int) ([]byte, error)
Peek返回緩存的一個切片,該切片引用緩存中前n個字節(jié)的數(shù)據,該操作不會將數(shù)據讀出,只是引用,引用的數(shù)據在下一次讀取操作之前有效的。如果切片長度小于n,則返回一個錯誤信息說明原因。如果n大于緩存的總大小,則返回ErrBufferFull。
Read
func (b *Reader) Read(p []byte) (n int, err error)
Read從b中數(shù)據到p中,返回讀出的字節(jié)數(shù)和遇到的錯誤。如果緩存不為空,則只能讀出緩沖中的數(shù)據,不會從底層io.Reader中提取數(shù)據,如果緩存為空,則:
1、len(p) >= 緩存大小,則跳過緩存,直接從底層io.Reader中讀出到p中
2、len(p)< 緩存大小,則先將數(shù)據從底層io.Reader中讀取到緩存中,再從緩存讀取到p中。
Buffered
func (b *Reader) Buffered() int
Buffered返回緩存中未讀取的數(shù)據的長度。
Discard
func (b *Reader) Discard(n int) (discarded int, err error)
Discard跳過后續(xù)的n個字節(jié)的數(shù)據,返回跳過的字節(jié)數(shù)。
Writer類型和方法
write結構
type Write struct {
err error // 寫過程中遇到的錯誤
buf []byte // 緩存
n int // 當前緩存中的字節(jié)數(shù)
wr io.Writer // 底層的io.Writer對象
}
NewWriteSize
func NewWriteSize(wr io.Write, size int) *Write
NewWriterSize將wr封裝成一個帶緩存的bufio.Writer對象,緩存大小由size指定(如果小于4096則會被設置未4096)。
NewWrite
func NewWriter(wr io.Writer) *Writer
NewWriter相等于NewWriterSize(wr, 4096)
WriteString
func (b *Write) WriteString(s string) (int, error)
WriteString功能同Write,只不過寫入的是字符串
WriteRune
func (b *Writer) WriteRune(r rune) (size int, err error)
WriteRune向b寫入r的UTF-8編碼,返回r的編碼長度。
Flush
func (b *Writer) Flush() error
Available
func (b *Writer) Available() int
Available 返回緩存中未使用的空間的長度
Buffered
func (b *Writer) Buffered() int
Buffered返回緩存中未提交的數(shù)據長度
Reset
func (b *Write) Reset(w io.Writer)
Reset將b的底層Write重新指定為w,同時丟棄緩存中的所有數(shù)據,復位所有標記和錯誤信息。相當于創(chuàng)建了一個新的bufio.Writer。
GO中還提供了Scanner類型,處理一些比較簡單的場景。如處理按行讀取輸入序列或空格分隔的詞等。
內容來自:https://blog.csdn.net/wangshubo1989/article/details/70177928
參考鏈接:
1)https://blog.csdn.net/LiangWenT/article/details/78995468
2)https://blog.csdn.net/wangshubo1989/article/details/70177928