前言

前段時間使用Python解析IDX文件格式的MNIST數(shù)據(jù)集，需要對二進制文件進行讀取操作，其中我使用的是struct模塊。查了網(wǎng)上挺多教程都寫的挺好的，不過對新手不是很友好，所以我重新整理了一些筆記以供快速上手。

注：教程中以下四個名詞同義：二進制流、二進制數(shù)組、字節(jié)流、字節(jié)數(shù)組

快速上手

在struct模塊中，將一個整型數(shù)字、浮點型數(shù)字或字符流（字符數(shù)組）轉換為字節(jié)流（字節(jié)數(shù)組）時，需要使用格式化字符串fmt告訴struct模塊被轉換的對象是什么類型，比如整型數(shù)字是'i'，浮點型數(shù)字是'f'，一個ascii碼字符是's'。

def demo1():
    # 使用bin_buf = struct.pack(fmt, buf)將buf為二進制數(shù)組bin_buf
    # 使用buf = struct.unpack(fmt, bin_buf)將bin_buf二進制數(shù)組反轉換回buf

    # 整型數(shù) -> 二進制流
    buf1 = 256
    bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'
    ret1 = struct.unpack('i', bin_buf1)
    print bin_buf1, '  <====>  ', ret1

    # 浮點數(shù) -> 二進制流
    buf2 = 3.1415
    bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'
    ret2 = struct.unpack('d', bin_buf2)
    print bin_buf2, '  <====>  ', ret2

    # 字符串 -> 二進制流
    buf3 = 'Hello World'
    bin_buf3 = struct.pack('11s', buf3) # '11s'代表長度為11的'string'字符數(shù)組
    ret3 = struct.unpack('11s', bin_buf3)
    print bin_buf3, '  <====>  ', ret3

    # 結構體 -> 二進制流
    # 假設有一個結構體
    # struct header {
    #   int buf1;
    #   double buf2;
    #   char buf3[11];
    # }
    bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)
    ret_all = struct.unpack('id11s', bin_buf_all)
    print bin_buf_all, '  <====>  ', ret_all

輸出結果如下：

demo1輸出結果

詳解struct模塊

主要函數(shù)

struct模塊中最重要的三個函數(shù)是pack(), unpack(), calcsize()

# 按照給定的格式化字符串，把數(shù)據(jù)封裝成字符串(實際上是類似于c結構體的字節(jié)流)
string = struct.pack(fmt, v1, v2, ...)

# 按照給定的格式(fmt)解析字節(jié)流string，返回解析出來的tuple
tuple = unpack(fmt, string)

# 計算給定的格式(fmt)占用多少字節(jié)的內(nèi)存
offset = calcsize(fmt) 

struct中的格式化字符串

struct中支持的格式如下表：

注1：q和Q只在機器支持64位操作時有意思
注2：每個格式前可以有一個數(shù)字，表示個數(shù)
注3：s格式表示一定長度的字符串，4s表示長度為4的字符串，但是p表示的是pascal字符串
注4：P用來轉換一個指針，其長度和機器字長相關
注5：最后一個可以用來表示指針類型的，占4個字節(jié)

為了同c中的結構體交換數(shù)據(jù)，還要考慮有的c或c++編譯器使用了字節(jié)對齊，通常是以4個字節(jié)為單位的32位系統(tǒng)，故而struct根據(jù)本地機器字節(jié)順序轉換.可以用格式中的第一個字符來改變對齊方式.定義如下：

使用方法是放在fmt的第一個位置，就像'@5s6sif'

參考

[1] Python使用struct處理二進制