文件讀寫

寫文件就是請求操作系統(tǒng)打開一個文件對象（通常稱為文件描述符），然后，通過操作系統(tǒng)提供的接口從這個文件對象中讀取數(shù)據(jù)（讀文件），或者把數(shù)據(jù)寫入這個文件對象（寫文件）。

讀文件

# 要以讀文件的模式打開一個文件對象，使用Python內(nèi)置的open()函數(shù)，傳入文件名和標(biāo)示符：
>>> f = open('/Users/michael/test.txt', 'r')

# 如果文件不存在，open()函數(shù)就會拋出一個IOError的錯誤，并且給出錯誤碼和詳細(xì)的信息告訴你文件不存在：
>>> f=open('/Users/michael/notfound.txt', 'r')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: '/Users/michael/notfound.txt'

# 如果文件打開成功，接下來，調(diào)用read()方法可以一次讀取文件的全部內(nèi)容，Python把內(nèi)容讀到內(nèi)存，用一個str對象表示
>>> f.read()
'Hello, world!'

# 最后一步是調(diào)用close()方法關(guān)閉文件。文件使用完畢后必須關(guān)閉，因為文件對象會占用操作系統(tǒng)的資源，并且操作系統(tǒng)同一時間能打開的文件數(shù)量也是有限的
>>> f.close()

# 由于文件讀寫時都有可能產(chǎn)生IOError，一旦出錯，后面的f.close()就不會調(diào)用。所以，為了保證無論是否出錯都能正確地關(guān)閉文件，我們可以使用try ... finally來實現(xiàn)
try:
    f = open('/path/to/file', 'r')
    print(f.read())
finally:
    if f:
        f.close()

# 但是每次都這么寫實在太繁瑣，所以，Python引入了with語句來自動幫我們調(diào)用close()方法
with open('/path/to/file', 'r') as f:
    print(f.read())
# 這和前面的try ... finally是一樣的，但是代碼更佳簡潔，并且不必調(diào)用f.close()方法。

# 可以反復(fù)調(diào)用read(size)方法，每次最多讀取size個字節(jié)的內(nèi)容。另外，調(diào)用readline()可以每次讀取一行內(nèi)容，調(diào)用readlines()一次讀取所有內(nèi)容并按行返回list
# 如果文件很小，read()一次性讀取最方便；如果不能確定文件大小，反復(fù)調(diào)用read(size)比較保險；如果是配置文件，調(diào)用readlines()最方便：
for line in f.readlines():
    print(line.strip()) # 把末尾的'\n'刪掉

file-like Object

像open()函數(shù)返回的這種有個read()方法的對象，在Python中統(tǒng)稱為file-like Object。除了file外，還可以是內(nèi)存的字節(jié)流，網(wǎng)絡(luò)流，自定義流等等。file-like Object不要求從特定類繼承，只要寫個read()方法就行。

二進(jìn)制文件

前面講的默認(rèn)都是讀取文本文件，并且是UTF-8編碼的文本文件。要讀取二進(jìn)制文件，比如圖片、視頻等等，用'rb'模式打開文件即可：

>>> f = open('/Users/michael/test.jpg', 'rb')
>>> f.read()
b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六進(jìn)制表示的字節(jié)

字符編碼

# 要讀取非UTF-8編碼的文本文件，需要給open()函數(shù)傳入encoding參數(shù)，例如，讀取GBK編碼的文件：
>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
>>> f.read()
'測試'

# 遇到有些編碼不規(guī)范的文件，你可能會遇到UnicodeDecodeError，因為在文本文件中可能夾雜了一些非法編碼的字符。遇到這種情況，open()函數(shù)還接收一個errors參數(shù)，表示如果遇到編碼錯誤后如何處理。最簡單的方式是直接忽略：
>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

寫文件

寫文件和讀文件是一樣的，唯一區(qū)別是調(diào)用open()函數(shù)時，傳入標(biāo)識符'w'或者'wb'表示寫文本文件或?qū)懚M(jìn)制文件

>>> f = open('/Users/michael/test.txt', 'w')
>>> f.write('Hello, world!')
>>> f.close()

# 可以反復(fù)調(diào)用write()來寫入文件，但是務(wù)必要調(diào)用f.close()來關(guān)閉文件。當(dāng)我們寫文件時，操作系統(tǒng)往往不會立刻把數(shù)據(jù)寫入磁盤，而是放到內(nèi)存緩存起來，空閑的時候再慢慢寫入。只有調(diào)用close()方法時，操作系統(tǒng)才保證把沒有寫入的數(shù)據(jù)全部寫入磁盤。忘記調(diào)用close()的后果是數(shù)據(jù)可能只寫了一部分到磁盤，剩下的丟失了。所以，還是用with語句來得保險：
with open('/Users/michael/test.txt', 'w') as f:
    f.write('Hello, world!')

# 要寫入特定編碼的文本文件，請給open()函數(shù)傳入encoding參數(shù)，將字符串自動轉(zhuǎn)換成指定編碼。

在Python中，文件讀寫是通過open()函數(shù)打開的文件對象完成的。使用with語句操作文件IO是個好習(xí)慣。

StringIO和BytesIO

StringIO

數(shù)據(jù)讀寫不一定是文件，也可以在內(nèi)存中讀寫。
StringIO顧名思義就是在內(nèi)存中讀寫str。

要把str寫入StringIO，我們需要先創(chuàng)建一個StringIO，然后，像文件一樣寫入即可

>>> from io import StringIO
>>> f = StringIO()
>>> f.write('hello')
5
>>> f.write(' ')
1
>>> f.write('world!')
6
>>> print(f.getvalue()) # getvalue()方法用于獲得寫入后的str
hello world!

# 要讀取StringIO，可以用一個str初始化StringIO，然后像讀文件一樣讀?。?>>> from io import StringIO
>>> f = StringIO('Hello!\nHi!\nGoodbye!')
>>> while True:
...     s = f.readline()
...     if s == '':
...         break
...     print(s.strip())
...
Hello!
Hi!
Goodbye!

BytesIO

StringIO操作的只能是str，如果要操作二進(jìn)制數(shù)據(jù)，就需要使用BytesIO

# BytesIO實現(xiàn)了在內(nèi)存中讀寫bytes，我們創(chuàng)建一個BytesIO，然后寫入一些bytes：
>>> from io import BytesIO
>>> f = BytesIO()
>>> f.write('中文'.encode('utf-8'))
6
>>> print(f.getvalue())
b'\xe4\xb8\xad\xe6\x96\x87'
# 請注意，寫入的不是str，而是經(jīng)過UTF-8編碼的bytes。

# 和StringIO類似，可以用一個bytes初始化BytesIO，然后，像讀文件一樣讀?。?>>> from io import BytesIO
>>> f = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')
>>> f.read()
b'\xe4\xb8\xad\xe6\x96\x87'

操作文件和目錄

>>> import os
# 操作系統(tǒng)類型
>>> os.name
'posix'

# 要獲取詳細(xì)的系統(tǒng)信息，可以調(diào)用uname()函數(shù)
>>> os.uname()
posix.uname_result(sysname='Darwin', nodename='MichaelMacPro.local', release='14.3.0', version='Darwin Kernel Version 14.3.0: Mon Mar 23 11:59:05 PDT 2015; root:xnu-2782.20.48~5/RELEASE_X86_64', machine='x86_64')
# 注意uname()函數(shù)在Windows上不提供，也就是說，os模塊的某些函數(shù)是跟操作系統(tǒng)相關(guān)的

# 在操作系統(tǒng)中定義的環(huán)境變量，全部保存在os.environ這個變量中，可以直接查看
>>> os.environ
environ({'VERSIONER_PYTHON_PREFER_32_BIT': 'no', 'TERM_PROGRAM_VERSION': '326', 'LOGNAME': 'michael', 'USER': 'michael', 'PATH': '/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/X11/bin:/usr/local/mysql/bin', ...})

# 要獲取某個環(huán)境變量的值，可以調(diào)用os.environ.get('key')：
>>> os.environ.get('PATH')
'/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/X11/bin:/usr/local/mysql/bin'
>>> os.environ.get('x', 'default')
'default'

# 操作文件和目錄的函數(shù)一部分放在os模塊中，一部分放在os.path模塊中
# 查看當(dāng)前目錄的絕對路徑:
>>> os.path.abspath('.')
'/Users/michael'
# 在某個目錄下創(chuàng)建一個新目錄，首先把新目錄的完整路徑表示出來:
>>> os.path.join('/Users/michael', 'testdir')
'/Users/michael/testdir'
# 然后創(chuàng)建一個目錄:
>>> os.mkdir('/Users/michael/testdir')
# 刪掉一個目錄:
>>> os.rmdir('/Users/michael/testdir')

# 把兩個路徑合成一個時，不要直接拼字符串，而要通過os.path.join()函數(shù)，這樣可以正確處理不同操作系統(tǒng)的路徑分隔符。在Linux/Unix/Mac下，os.path.join()返回這樣的字符串：
part-1/part-2
# 而Windows下會返回這樣的字符串：
part-1\part-2

# 同樣的道理，要拆分路徑時，也不要直接去拆字符串，而要通過os.path.split()函數(shù)，這樣可以把一個路徑拆分為兩部分，后一部分總是最后級別的目錄或文件名：
>>> os.path.split('/Users/michael/testdir/file.txt')
('/Users/michael/testdir', 'file.txt')

# os.path.splitext()可以直接讓你得到文件擴(kuò)展名，很多時候非常方便：
>>> os.path.splitext('/path/to/file.txt')
('/path/to/file', '.txt')
# 這些合并、拆分路徑的函數(shù)并不要求目錄和文件要真實存在，它們只對字符串進(jìn)行操作。

# 文件操作使用下面的函數(shù)。假定當(dāng)前目錄下有一個test.txt文件：
# 對文件重命名:
>>> os.rename('test.txt', 'test.py')
# 刪掉文件:
>>> os.remove('test.py')

# shutil模塊提供了copyfile()的函數(shù)，你還可以在shutil模塊中找到很多實用函數(shù)，它們可以看做是os模塊的補(bǔ)充。

# 要列出當(dāng)前目錄下的所有目錄，只需要一行代碼
>>> [x for x in os.listdir('.') if os.path.isdir(x)]
['.lein', '.local', '.m2', '.npm', '.ssh', '.Trash', '.vim', 'Applications', 'Desktop', ...]
列出所有的.py文件
>>> [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']
['apis.py', 'config.py', 'models.py', 'pymonitor.py', 'test_db.py', 'urls.py', 'wsgiapp.py']

Python的os模塊封裝了操作系統(tǒng)的目錄和文件操作，要注意這些函數(shù)有的在os模塊中，有的在os.path模塊中。

序列化

把變量從內(nèi)存中變成可存儲或傳輸?shù)倪^程稱之為序列化（pickling）
序列化之后，就可以把序列化后的內(nèi)容寫入磁盤，或者通過網(wǎng)絡(luò)傳輸?shù)絼e的機(jī)器上。
反過來，把變量內(nèi)容從序列化的對象重新讀到內(nèi)存里稱之為反序列化，即unpickling。
Python提供了pickle模塊來實現(xiàn)序列化

# 把一個對象序列化并寫入文件：
>>> import pickle
>>> d = dict(name='Bob', age=20, score=88)
>>> pickle.dumps(d)
b'\x80\x03}q\x00(X\x03\x00\x00\x00ageq\x01K\x14X\x05\x00\x00\x00scoreq\x02KXX\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00Bobq\x04u.'

# pickle.dumps()方法把任意對象序列化成一個bytes，然后，就可以把這個bytes寫入文件?；蛘哂昧硪粋€方法pickle.dump()直接把對象序列化后寫入一個file-like Object：
>>> f = open('dump.txt', 'wb')
>>> pickle.dump(d, f)
>>> f.close()
# 看看寫入的dump.txt文件，一堆亂七八糟的內(nèi)容，這些都是Python保存的對象內(nèi)部信息。

# 當(dāng)我們要把對象從磁盤讀到內(nèi)存時，可以先把內(nèi)容讀到一個bytes，然后用pickle.loads()方法反序列化出對象，也可以直接用pickle.load()方法從一個file-like Object中直接反序列化出對象。
>>> f = open('dump.txt', 'rb')
>>> d = pickle.load(f)
>>> f.close()
>>> d
{'age': 20, 'score': 88, 'name': 'Bob'}

# Pickle的問題和所有其他編程語言特有的序列化問題一樣，就是它只能用于Python，并且可能不同版本的Python彼此都不兼容，因此，只能用Pickle保存那些不重要的數(shù)據(jù)，不能成功地反序列化也沒關(guān)系。

JSON

如果我們要在不同的編程語言之間傳遞對象，就必須把對象序列化為標(biāo)準(zhǔn)格式，比如XML，但更好的方法是序列化為JSON，因為JSON表示出來就是一個字符串，可以被所有語言讀取，也可以方便地存儲到磁盤或者通過網(wǎng)絡(luò)傳輸。JSON不僅是標(biāo)準(zhǔn)格式，并且比XML更快，而且可以直接在Web頁面中讀取，非常方便。

JSON表示的對象就是標(biāo)準(zhǔn)的JavaScript語言的對象，JSON和Python內(nèi)置的數(shù)據(jù)類型對應(yīng)如下：

Python內(nèi)置的json模塊提供了非常完善的Python對象到JSON格式的轉(zhuǎn)換

# 把Python對象變成一個JSON
>>> import json
>>> d = dict(name='Bob', age=20, score=88)
>>> json.dumps(d)
'{"age": 20, "score": 88, "name": "Bob"}'
# dumps()方法返回一個str，內(nèi)容就是標(biāo)準(zhǔn)的JSON。類似的，dump()方法可以直接把JSON寫入一個file-like Object。

# 要把JSON反序列化為Python對象，用loads()或者對應(yīng)的load()方法，前者把JSON的字符串反序列化，后者從file-like Object中讀取字符串并反序列化
>>> json_str = '{"age": 20, "score": 88, "name": "Bob"}'
>>> json.loads(json_str)
{'age': 20, 'score': 88, 'name': 'Bob'}

# Python的dict對象可以直接序列化為JSON的{}，不過，很多時候，我們更喜歡用class表示對象，比如定義Student類，然后序列化
# 默認(rèn)情況下，dumps()方法不知道如何將Student實例變?yōu)橐粋€JSON的{}對象
# 可選參數(shù)default就是把任意一個對象變成一個可序列為JSON的對象，我們只需要為Student專門寫一個轉(zhuǎn)換函數(shù)，再把函數(shù)傳進(jìn)去即可
def student2dict(std):
    return {
        'name': std.name,
        'age': std.age,
        'score': std.score
    }
# 這樣，Student實例首先被student2dict()函數(shù)轉(zhuǎn)換成dict，然后再被順利序列化為JSON
>>> print(json.dumps(s, default=student2dict))
{"age": 20, "name": "Bob", "score": 88}

# 下次如果遇到一個Teacher類的實例，照樣無法序列化為JSON。我們可以偷個懶，把任意class的實例變?yōu)閐ict：
print(json.dumps(s, default=lambda obj: obj.__dict__))
# 因為通常class的實例都有一個__dict__屬性，它就是一個dict，用來存儲實例變量。也有少數(shù)例外，比如定義了__slots__的class。

# 同樣的道理，如果我們要把JSON反序列化為一個Student對象實例，loads()方法首先轉(zhuǎn)換出一個dict對象，然后，我們傳入的object_hook函數(shù)負(fù)責(zé)把dict轉(zhuǎn)換為Student實例：
def dict2student(d):
    return Student(d['name'], d['age'], d['score'])
# 運(yùn)行結(jié)果如下：
>>> json_str = '{"age": 20, "score": 88, "name": "Bob"}'
>>> print(json.loads(json_str, object_hook=dict2student))
<__main__.Student object at 0x10cd3c190>