Golang解決TCP粘包拆包問(wèn)題

什么是粘包問(wèn)題

最近在使用Golang編寫Socket層，發(fā)現(xiàn)有時(shí)候接收端會(huì)一次讀到多個(gè)數(shù)據(jù)包的問(wèn)題。于是通過(guò)查閱資料，發(fā)現(xiàn)這個(gè)就是傳說(shuō)中的TCP粘包問(wèn)題。下面通過(guò)編寫代碼來(lái)重現(xiàn)這個(gè)問(wèn)題：

服務(wù)端代碼 server/main.go

func main() {
   l, err := net.Listen("tcp", ":4044")
   if err != nil {
       panic(err)
   }
   fmt.Println("listen to 4044")
   for {
       // 監(jiān)聽到新的連接，創(chuàng)建新的 goroutine 交給 handleConn函數(shù) 處理
       conn, err := l.Accept()
       if err != nil {
           fmt.Println("conn err:", err)
       } else {
           go handleConn(conn)
       }
   }
}

func handleConn(conn net.Conn) {
   defer conn.Close()
   defer fmt.Println("關(guān)閉")
   fmt.Println("新連接：", conn.RemoteAddr())

   result := bytes.NewBuffer(nil)
   var buf [1024]byte
   for {
       n, err := conn.Read(buf[0:])
       result.Write(buf[0:n])
       if err != nil {
           if err == io.EOF {
               continue
           } else {
               fmt.Println("read err:", err)
               break
           }
       } else {
           fmt.Println("recv:", result.String())
       }
       result.Reset()
   }
}

客戶端代碼 client/main.go

func main() {
    data := []byte("[這里才是一個(gè)完整的數(shù)據(jù)包]")
    conn, err := net.DialTimeout("tcp", "localhost:4044", time.Second*30)
    if err != nil {
        fmt.Printf("connect failed, err : %v\n", err.Error())
        return
    }
    for i := 0; i <1000; i++ {
        _, err = conn.Write(data)
        if err != nil {
            fmt.Printf("write failed , err : %v\n", err)
            break
        }
    }
}

運(yùn)行結(jié)果

listen to 4044
新連接： [::1]:53079
recv: [這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)?
recv: ?][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
...省略其它的...

從服務(wù)端的控制臺(tái)輸出可以看出，存在三種類型的輸出：

  1. 一種是正常的一個(gè)數(shù)據(jù)包輸出。
  2. 一種是多個(gè)數(shù)據(jù)包“粘”在了一起，我們定義這種讀到的包為粘包。
  3. 一種是一個(gè)數(shù)據(jù)包被“拆”開，形成一個(gè)破碎的包，我們定義這種包為半包。

為什么會(huì)出現(xiàn)半包和粘包？

  1. 客戶端一段時(shí)間內(nèi)發(fā)送包的速度太多，服務(wù)端沒(méi)有全部處理完。于是數(shù)據(jù)就會(huì)積壓起來(lái)，產(chǎn)生粘包。
  2. 定義的讀的buffer不夠大，而數(shù)據(jù)包太大或者由于粘包產(chǎn)生，服務(wù)端不能一次全部讀完，產(chǎn)生半包。

什么時(shí)候需要考慮處理半包和粘包？

  1. TCP連接是長(zhǎng)連接，即一次連接多次發(fā)送數(shù)據(jù)。
  2. 每次發(fā)送的數(shù)據(jù)是結(jié)構(gòu)的，比如 JSON格式的數(shù)據(jù) 或者 數(shù)據(jù)包的協(xié)議是由我們自己定義的（包頭部包含實(shí)際數(shù)據(jù)長(zhǎng)度、協(xié)議魔數(shù)等）。

解決思路

  1. 定長(zhǎng)分隔(每個(gè)數(shù)據(jù)包最大為該長(zhǎng)度，不足時(shí)使用特殊字符填充) ，但是數(shù)據(jù)不足時(shí)會(huì)浪費(fèi)傳輸資源
  2. 使用特定字符來(lái)分割數(shù)據(jù)包，但是若數(shù)據(jù)中含有分割字符則會(huì)出現(xiàn)Bug
  3. 在數(shù)據(jù)包中添加長(zhǎng)度字段，彌補(bǔ)了以上兩種思路的不足，推薦使用

拆包演示

通過(guò)上述分析，我們最好通過(guò)第三種思路來(lái)解決拆包粘包問(wèn)題。
Golang的bufio庫(kù)中有為我們提供了Scanner，來(lái)解決這類分割數(shù)據(jù)的問(wèn)題。

type Scanner

Scanner provides a convenient interface for reading data such as a file of newline-delimited lines of text. Successive calls to the Scan method will step through the 'tokens' of a file, skipping the bytes between the tokens. The specification of a token is defined by a split function of type SplitFunc; the default split function breaks the input into lines with line termination stripped. Split functions are defined in this package for scanning a file into lines, bytes, UTF-8-encoded runes, and space-delimited words. The client may instead provide a custom split function.

簡(jiǎn)單來(lái)講即是：
Scanner為 讀取數(shù)據(jù) 提供了方便的 接口。連續(xù)調(diào)用Scan方法會(huì)逐個(gè)得到文件的“tokens”，跳過(guò) tokens 之間的字節(jié)。token 的規(guī)范由 SplitFunc 類型的函數(shù)定義。我們可以改為提供自定義拆分功能。
接下來(lái)看看 SplitFunc 類型的函數(shù)是什么樣子的：

type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)

復(fù)制代碼Golang官網(wǎng)文檔上提供的使用例子??：

func main() {
    // An artificial input source.
    const input = "1234 5678 1234567901234567890"
    scanner := bufio.NewScanner(strings.NewReader(input))
    // Create a custom split function by wrapping the existing ScanWords function.
    split := func(data []byte, atEOF bool) (advance int, token []byte, err error) {
        advance, token, err = bufio.ScanWords(data, atEOF)
        if err == nil && token != nil {
            _, err = strconv.ParseInt(string(token), 10, 32)
        }
        return
    }
    // Set the split function for the scanning operation.
    scanner.Split(split)
    // Validate the input
    for scanner.Scan() {
        fmt.Printf("%s\n", scanner.Text())
    }

    if err := scanner.Err(); err != nil {
        fmt.Printf("Invalid input: %s", err)
    }
}

于是，我們可以這樣改寫我們的程序：

服務(wù)端代碼 server/main.go

func main() {
    l, err := net.Listen("tcp", ":4044")
    if err != nil {
        panic(err)
    }
    fmt.Println("listen to 4044")
    for {
        conn, err := l.Accept()
        if err != nil {
            fmt.Println("conn err:", err)
        } else {
            go handleConn2(conn)
        }
    }
}

func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
        // 檢查 atEOF 參數(shù) 和 數(shù)據(jù)包頭部的四個(gè)字節(jié)是否 為 0x123456(我們定義的協(xié)議的魔數(shù))
    if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
        var l int16
                // 讀出 數(shù)據(jù)包中 實(shí)際數(shù)據(jù) 的長(zhǎng)度(大小為 0 ~ 2^16)
        binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
        pl := int(l) + 6
        if pl <= len(data) {
            return pl, data[:pl], nil
        }
    }
    return
}

func handleConn2(conn net.Conn) {
    defer conn.Close()
    defer fmt.Println("關(guān)閉")
    fmt.Println("新連接：", conn.RemoteAddr())
    result := bytes.NewBuffer(nil)
        var buf [65542]byte // 由于 標(biāo)識(shí)數(shù)據(jù)包長(zhǎng)度 的只有兩個(gè)字節(jié) 故數(shù)據(jù)包最大為 2^16+4(魔數(shù))+2(長(zhǎng)度標(biāo)識(shí))
    for {
        n, err := conn.Read(buf[0:])
        result.Write(buf[0:n])
        if err != nil {
            if err == io.EOF {
                continue
            } else {
                fmt.Println("read err:", err)
                break
            }
        } else {
            scanner := bufio.NewScanner(result)
            scanner.Split(packetSlitFunc)
            for scanner.Scan() {
                fmt.Println("recv:", string(scanner.Bytes()[6:]))
            }
        }
        result.Reset()
    }
}

客戶端代碼 client/main.go

func main() {
    data := []byte("[這里才是一個(gè)完整的數(shù)據(jù)包]")
    l := len(data)
    fmt.Println(l)
    magicNum := make([]byte, 4)
    binary.BigEndian.PutUint32(magicNum, 0x123456)
    lenNum := make([]byte, 2)
    binary.BigEndian.PutUint16(lenNum, uint16(l))
    packetBuf := bytes.NewBuffer(magicNum)
    packetBuf.Write(lenNum)
    packetBuf.Write(data)
    conn, err := net.DialTimeout("tcp", "localhost:4044", time.Second*30)
    if err != nil {
        fmt.Printf("connect failed, err : %v\n", err.Error())
                return
    }
    for i := 0; i <1000; i++ {
        _, err = conn.Write(packetBuf.Bytes())
        if err != nil {
            fmt.Printf("write failed , err : %v\n", err)
            break
        }
    }
}

復(fù)制代碼運(yùn)行結(jié)果

listen to 4044
新連接： [::1]:55738
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
...省略其它的...

文章轉(zhuǎn)至：https://juejin.im/post/5d220f7b6fb9a07ec7553da4

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容