ioutil.ReadAll 是一個常用的數(shù)據(jù)讀取方法，經(jīng)常用來讀取http請求的response數(shù)據(jù)，或者讀取文件數(shù)據(jù)。

demo1: http

func handle(r *http.Request, w http.ResponseWriter) {
    file, err := os.Open("tmp.zip")
    // error checks...
    b, err := ioutil.ReadAll(file)
    // error checks
    fmt.FPrintf(w, b)
}

demo2 : 模擬shell md5sum 獲取文件MD5

func genmd5(file string) string{
    cf, err := os.Open(file)
    //err check
    defer cf.Close()
    body, err := ioutil.ReadAll(cf)
    //err check
    MD5Str := fmt.Sprintf("%x", md5.Sum(body))
    return MD5Str
}

上述兩個例子看起來都沒什么問題，但是當(dāng)文件數(shù)據(jù)特別大的時候，ioutil.ReadAll會將全部的數(shù)據(jù)加載到內(nèi)存，對于demo1，在高并發(fā)的情況下，最終會導(dǎo)致服務(wù)因?yàn)閮?nèi)存不足而崩潰。demo2會將整個文件加載到內(nèi)存，并且短時無法清理（2G文件生成MD5后，內(nèi)存大約7min后才會gc完成）。

在這種情況下最好使用io.Copy的方式代替 ioutil.ReadAll

demo1 優(yōu)化：

func handle(r *http.Request, w http.ResponseWriter) {
    file, err := os.Open("tmp.zip")
    // error checks...
    io.Copy(w, file)
}

Demo2 優(yōu)化

func genmd5(file string) string{
    f, err := os.Open(file)
    // err check
    defer f.Close()
    // 改用io.Writer對象獲取文件數(shù)據(jù)
    md5hash := md5.New()
    if _, err := io.Copy(md5hash, f); err != nil {
          // err check
    }
    MD5Str := fmt.Sprintf("%x", md5hash.Sum(nil))
    return MD5Str
}

io.Copy使用固定的32K緩沖區(qū)，因此無論源數(shù)據(jù)多大，都只會占用32K內(nèi)存空間。

所以需要向io.Writer寫入時，建議優(yōu)先使用io.Copy的方式。