1. 迭代器協(xié)議

由于生成器自動實現(xiàn)了迭代器協(xié)議，而迭代器協(xié)議對很多人來說，也是一個較為抽象的概念。所以，為了更好的理解生成器，我們需要簡單的回顧一下迭代器協(xié)議的概念。

1）迭代器協(xié)議是指：對象需要提供next方法，它要么返回迭代中的下一項，要么就引起一個StopIteration異常，以終止迭代
2）可迭代對象就是：實現(xiàn)了迭代器協(xié)議的對象
3）協(xié)議是一種約定，可迭代對象實現(xiàn)迭代器協(xié)議，Python的內(nèi)置工具(如for循環(huán)，sum，min，max函數(shù)等)使用迭代器協(xié)議訪問對象。

舉個例子：在所有語言中，我們都可以使用for循環(huán)來遍歷數(shù)組，Python的list底層實現(xiàn)是一個數(shù)組，所以，我們可以使用for循環(huán)來遍歷list。如下所示：

>>> for n in [1, 2, 3, 4]:
...     print n

但是，對Python稍微熟悉一點的朋友應(yīng)該知道，Python的for循環(huán)不但可以用來遍歷list，還可以用來遍歷文件對象，如下所示：

>>> with open(‘/etc/passwd’) as f: # 文件對象提供迭代器協(xié)議
...     for line in f: # for循環(huán)使用迭代器協(xié)議訪問文件
...         print line

為什么在Python中，文件還可以使用for循環(huán)進(jìn)行遍歷呢？這是因為，在Python中，文件對象實現(xiàn)了迭代器協(xié)議，for循環(huán)并不知道它遍歷的是一個文件對象，它只管使用迭代器協(xié)議訪問對象即可。正是由于Python的文件對象實現(xiàn)了迭代器協(xié)議，我們才得以使用如此方便的方式訪問文件，如下所示：

>>> f = open('/etc/passwd')
>>> dir(f)
['__class__', '__enter__', '__exit__', '__iter__', '__next__', 'writelines', '...'

2. 生成器

Python使用生成器對延遲操作提供了支持。所謂延遲操作，是指在需要的時候才產(chǎn)生結(jié)果，而不是立即產(chǎn)生結(jié)果。這也是生成器的主要好處。

Python有兩種不同的方式提供生成器：
1）生成器函數(shù)：常規(guī)函數(shù)定義，但是，使用yield語句而不是return語句返回結(jié)果。yield語句一次返回一個結(jié)果，在每個結(jié)果中間，掛起函數(shù)的狀態(tài)，以便下次重它離開的地方繼續(xù)執(zhí)行
2）生成器表達(dá)式：類似于列表推導(dǎo)，但是，生成器返回按需產(chǎn)生結(jié)果的一個對象，而不是一次構(gòu)建一個結(jié)果列表

2.1 生成器函數(shù)
我們來看一個例子，使用生成器返回自然數(shù)的平方（注意返回的是多個值）：

def gensquares(N):
    for i in range(N):
        yield i ** 2

for item in gensquares(5):
    print item,

使用普通函數(shù)：

def gensquares(N):
    res = []
    for i in range(N):
        res.append(i*i)
    return res

for item in gensquares(5):
    print item,

可以看到，使用生成器函數(shù)代碼量更少。

2.2 生成器表達(dá)式
使用列表推導(dǎo)，將會一次產(chǎn)生所有結(jié)果：

>>> squares = [x**2 for x in range(5)]
>>> squares
[0, 1, 4, 9, 16]

將列表推導(dǎo)的中括號，替換成圓括號，就是一個生成器表達(dá)式：

>>> squares = (x**2 for x in range(5))
>>> squares
<generator object at 0x00B2EC88>
>>> next(squares)
0
...
>>> next(squares)
4
>>> list(squares)
[9, 16]

Python不但使用迭代器協(xié)議，讓for循環(huán)變得更加通用。大部分內(nèi)置函數(shù)，也是使用迭代器協(xié)議訪問對象的。例如， sum函數(shù)是Python的內(nèi)置函數(shù)，該函數(shù)使用迭代器協(xié)議訪問對象，而生成器實現(xiàn)了迭代器協(xié)議，所以，我們可以直接這樣計算一系列值的和：

>>> sum(x ** 2 for x in xrange(4)) 

而不用多此一舉的先構(gòu)造一個列表：

>>> sum([x ** 2 for x in xrange(4)]) 

2.3 再看生成器
前面已經(jīng)對生成器有了感性的認(rèn)識，我們以生成器函數(shù)為例，再來深入探討一下Python的生成器：
1）語法上和函數(shù)類似：生成器函數(shù)和常規(guī)函數(shù)幾乎是一樣的。它們都是使用def語句進(jìn)行定義，差別在于，生成器使用yield語句返回一個值，而常規(guī)函數(shù)使用return語句返回一個值
2）自動實現(xiàn)迭代器協(xié)議：對于生成器，Python會自動實現(xiàn)迭代器協(xié)議，以便應(yīng)用到迭代背景中（如for循環(huán)，sum函數(shù)）。由于生成器自動實現(xiàn)了迭代器協(xié)議，所以，我們可以調(diào)用它的next方法，并且，在沒有值可以返回的時候，生成器自動產(chǎn)生StopIteration異常
3）狀態(tài)掛起：生成器使用yield語句返回一個值。yield語句掛起該生成器函數(shù)的狀態(tài)，保留足夠的信息，以便之后從它離開的地方繼續(xù)執(zhí)行

3. 示例

我們再來看兩個生成器的例子，以便大家更好的理解生成器的作用。

首先，生成器的好處是延遲計算，一次返回一個結(jié)果。也就是說，它不會一次生成所有的結(jié)果，這對于大數(shù)據(jù)量處理，將會非常有用。

大家可以在自己電腦上試試下面兩個表達(dá)式，并且觀察內(nèi)存占用情況。對于前一個表達(dá)式，我在自己的電腦上進(jìn)行測試，還沒有看到最終結(jié)果電腦就已經(jīng)卡死，對于后一個表達(dá)式，幾乎沒有什么內(nèi)存占用。

sum([i for i in xrange(10000000000)])
sum(i for i in xrange(10000000000))

除了延遲計算，生成器還能有效提高代碼可讀性。例如，現(xiàn)在有一個需求，求一段文字中，每個單詞出現(xiàn)的位置。

不使用生成器的情況：

def index_words(text):
    result = []
    if text:
        result.append(0)
    for index, letter in enumerate(text, 1):
        if letter == ' ':
            result.append(index)
    return result

使用生成器的情況：

def index_words(text):
    if text:
        yield 0
    for index, letter in enumerate(text, 1):
        if letter == ' ':
            yield index

這里，至少有兩個充分的理由說明 ，使用生成器比不使用生成器代碼更加清晰：
1）使用生成器以后，代碼行數(shù)更少。大家要記住，如果想把代碼寫的Pythonic，在保證代碼可讀性的前提下，代碼行數(shù)越少越好

2）不使用生成器的時候，對于每次結(jié)果，我們首先看到的是result.append(index)，其次，才是index。也就是說，我們每次看到的是一個列表的append操作，只是append的是我們想要的結(jié)果。使用生成器的時候，直接yield index，少了列表append操作的干擾，我們一眼就能夠看出，代碼是要返回index。

這個例子充分說明了，合理使用生成器，能夠有效提高代碼可讀性。只要大家完全接受了生成器的概念，理解了yield語句和return語句一樣，也是返回一個值。那么，就能夠理解為什么使用生成器比不使用生成器要好，能夠理解使用生成器真的可以讓代碼變得清晰易懂。

4. 使用生成器的注意事項

相信通過這篇文章，大家已經(jīng)能夠理解生成器的作用和好處。但是，還沒有結(jié)束，使用生成器，也有一點注意事項。

我們直接來看例子，假設(shè)文件中保存了每個省份的人口總數(shù)，現(xiàn)在，需要求每個省份的人口占全國總?cè)丝诘谋壤?。顯然，我們需要先求出全國的總?cè)丝?，然后在遍歷每個省份的人口，用每個省的人口數(shù)除以總?cè)丝跀?shù)，就得到了每個省份的人口占全國人口的比例。

如下所示：

def get_province_population(filename):
    with open(filename) as f:
        for line in f:
            yield int(line)
gen = get_province_population('data.txt')
all_population = sum(gen)
#print all_population
for population in gen:
    print population / all_population

執(zhí)行上面這段代碼，將不會有任何輸出，這是因為，生成器只能遍歷一次。在我們執(zhí)行sum語句的時候，就遍歷了我們的生成器，當(dāng)我們再次遍歷我們的生成器的時候，將不會有任何記錄。所以，上面的代碼不會有任何輸出。
因此，生成器的唯一注意事項就是：生成器只能遍歷一次。

5. 總結(jié)

本文深入淺出地介紹了Python中，一個容易被大家忽略的重要特性，即Python的生成器。為了講解生成器，本文先介紹了迭代器協(xié)議，然后介紹了生成器函數(shù)和生成器表達(dá)式，并通過示例演示了生成器的優(yōu)點和注意事項。在實際工作中，充分利用Python生成器，不但能夠減少內(nèi)存使用，還能夠提高代碼可讀性。掌握生成器也是Python高手的標(biāo)配。希望本文能夠幫助大家理解Python的生成器。