python生成器和迭代器

文章來源：python 生成器和迭代器有這篇就夠了

什么是迭代器？

迭代器是訪問集合元素的一種方式。迭代器對象從集合的第一個(gè)元素開始訪問，直到所有的元素被訪問完結(jié)束。迭代器只能往前不會(huì)后退。

迭代器提供了一個(gè)統(tǒng)一的訪問集合的接口。只要是實(shí)現(xiàn)了iter()或getitem()方法的對象，就可以使用迭代器進(jìn)行訪問。

可迭代對象

序列：字符串、列表、元組
非序列：字典、文件
自定義類：用戶自定義的類實(shí)現(xiàn)了iter()或getitem()方法的對象

可以使用isinstance()判斷一個(gè)對象是否為可Iterable對象。

創(chuàng)建迭代器
L1 = [1, 2, 3]
print L1, '\n'

# 使用對象內(nèi)置的__iter__()方法生成迭代器
print 'method 1:'
I1 = L1.__iter__()
print I1
print I1.next(), I1.next(), I1.next(), '\n'


# 使用內(nèi)置工廠函數(shù)生成迭代器
print 'method 2:'
I2 = iter(L1)
print I2
print I2.next(), I2.next(), I2.next()
# 沒有下一個(gè)元素時(shí)，會(huì)引發(fā)異常StopIteration
try:
    print I2.next()
except StopIteration, e:
    print '引發(fā)了異常'


結(jié)果：
[1, 2, 3] 

method 1:
<listiterator object at 0x00000000025FE390>
1 2 3 

method 2:
<listiterator object at 0x00000000025FE4E0>
1 2 3
引發(fā)了異常

要取出所有數(shù)據(jù)時(shí)，可以使用for循環(huán)，for循環(huán)可用于任何可迭代對象，for循環(huán)本質(zhì)上就是通過不斷調(diào)用next()函數(shù)實(shí)現(xiàn)的。

你可能會(huì)問，為什么list、dict、str等數(shù)據(jù)類型不是Iterator？

這是因?yàn)?strong>Python的Iterator對象表示的是一個(gè)數(shù)據(jù)流，Iterator對象可以被next()函數(shù)調(diào)用并不斷返回下一個(gè)數(shù)據(jù)，直到?jīng)]有數(shù)據(jù)時(shí)拋出StopIteration錯(cuò)誤?？梢园堰@個(gè)數(shù)據(jù)流看做是一個(gè)有序序列，但我們卻不能提前知道序列的長度，只能不斷通過next()函數(shù)實(shí)現(xiàn)按需計(jì)算下一個(gè)數(shù)據(jù)，所以Iterator的計(jì)算是惰性的，只有在需要返回下一個(gè)數(shù)據(jù)時(shí)它才會(huì)計(jì)算。
Iterator甚至可以表示一個(gè)無限大的數(shù)據(jù)流，例如全體自然數(shù)。而使用list是永遠(yuǎn)不可能存儲全體自然數(shù)的。

什么是生成器？

受到內(nèi)存限制，列表容量肯定是有限的，例如要?jiǎng)?chuàng)建一個(gè)包含100萬個(gè)元素的列表，不僅占用很大的存儲空間，如果我們僅僅需要訪問前面幾個(gè)元素，那后面絕大多數(shù)元素占用的空間都白白浪費(fèi)了。

所以，如果列表元素可以按照某種算法推算出來，那我們是否可以在循環(huán)的過程中不斷推算出后續(xù)的元素呢？這樣就不必創(chuàng)建完整的list，從而節(jié)省大量的空間，在Python中，這種一邊循環(huán)一邊計(jì)算的機(jī)制，稱為生成器：generator。
　　
生成器是一個(gè)特殊的程序，可以被用作控制循環(huán)的迭代行為，python中生成器是迭代器的一種，使用yield返回值函數(shù)，每次調(diào)用yield會(huì)暫停，而可以使用next()函數(shù)和send()函數(shù)恢復(fù)生成器。

生成器類似于返回值為數(shù)組的一個(gè)函數(shù)，這個(gè)函數(shù)可以接受參數(shù)，可以被調(diào)用，但是，不同于一般的函數(shù)會(huì)一次性返回包括了所有數(shù)值的數(shù)組，生成器一次只能產(chǎn)生一個(gè)值，這樣消耗的內(nèi)存數(shù)量將大大減小，而且允許調(diào)用函數(shù)可以很快的處理前幾個(gè)返回值，因此生成器看起來像是一個(gè)函數(shù)，但是表現(xiàn)得卻像是迭代器。

想要?jiǎng)?chuàng)建一個(gè)生成器？
第一種方法很簡單，只有把一個(gè)列表生成式的[]中括號改為（）小括號，就創(chuàng)建一個(gè)generator。

# 列表生成式
lis = [x*x for x in range(10)]
print(lis)

# 生成器
generator_ex = (x*x for x in range(10))
print(generator_ex)

結(jié)果：
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
<generator object <genexpr> at 0x000002A4CBF9EBA0>

從表面看就是[ ]和（）,但是結(jié)果卻不一樣，一個(gè)打印出來是列表（因?yàn)槭橇斜砩墒剑?，而第二個(gè)打印出來卻是<generator object <genexpr> at 0x000002A4CBF9EBA0>，那么如何打印出來generator_ex的每一個(gè)元素呢？很簡單，可以通過next（）函數(shù)獲得generator的下一個(gè)返回值：

print(next(generator_ex))

因?yàn)樯善饕彩堑鞯囊环N，所以直接next取，在最后也是會(huì)報(bào)StopIteration的異常的。

所以我們創(chuàng)建一個(gè)generator后，基本上永遠(yuǎn)不會(huì)調(diào)用next()，而是通過for循環(huán)來迭代，并且不需要關(guān)心StopIteration的錯(cuò)誤，generator非常強(qiáng)大，如果推算的算法比較復(fù)雜，用類似列表生成式的for循環(huán)無法實(shí)現(xiàn)的時(shí)候，還可以用函數(shù)來實(shí)現(xiàn)。

以下來看個(gè)例子，比如著名的斐波那契數(shù)列：

# 斐波拉契數(shù)列
def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1
    return 'done'      # python 版本<3.3 的會(huì)報(bào)錯(cuò)

res = fib(10)
print(res)

for i in res:
    print(i)

結(jié)果：
<generator object fib at 0x00000000023CC240>
1
1
2
3
5
8
13
21
34
55

可以看到，函數(shù)fib返回的不再是一個(gè)值，而是一個(gè)生成器。

這里說一下generator和函數(shù)的執(zhí)行流程，函數(shù)是順序執(zhí)行的，遇到return語句或者最后一行函數(shù)語句就返回。而變成generator的函數(shù)，在每次調(diào)用next()的時(shí)候執(zhí)行，遇到y(tǒng)ield語句返回，再次被next（）調(diào)用時(shí)候從上次的返回yield語句處急需執(zhí)行，也就是用多少，取多少，不占內(nèi)存。

最后要說一下，用for循環(huán)調(diào)用generator時(shí)，發(fā)現(xiàn)拿不到generator的return語句的返回值。如果想要拿到返回值，必須捕獲StopIteration錯(cuò)誤，返回值包含在StopIteration的value中。

接下來，我們來使用yield來實(shí)現(xiàn)在單線程的情況下實(shí)現(xiàn)并發(fā)運(yùn)算的效果

import time
def consumer(name):
    print("%s 準(zhǔn)備學(xué)習(xí)啦!" %name)
    while True:
       lesson = yield
 
       print("開始[%s]了,[%s]老師來講課了!" %(lesson,name))
 
 
def producer(name):
    c = consumer('A')
    c2 = consumer('B')
    c.__next__()
    c2.__next__()
    print("同學(xué)們開始上課 了!")
    for i in range(10):
        time.sleep(1)
        print("到了兩個(gè)同學(xué)!")
        c.send(i)
        c2.send(i)
 
結(jié)果：
A 準(zhǔn)備學(xué)習(xí)啦!
B 準(zhǔn)備學(xué)習(xí)啦!
同學(xué)們開始上課 了!
到了兩個(gè)同學(xué)!
開始[0]了,[A]老師來講課了!
開始[0]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[1]了,[A]老師來講課了!
開始[1]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[2]了,[A]老師來講課了!
開始[2]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[3]了,[A]老師來講課了!
開始[3]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[4]了,[A]老師來講課了!
開始[4]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[5]了,[A]老師來講課了!
開始[5]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[6]了,[A]老師來講課了!
開始[6]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!

由上面的例子我么可以發(fā)現(xiàn)，python提供了兩種基本的方式
生成器函數(shù)：也是用def定義的，利用關(guān)鍵字yield一次性返回一個(gè)結(jié)果，阻塞，重新開始
生成器表達(dá)式：返回一個(gè)對象，這個(gè)對象只有在需要的時(shí)候才產(chǎn)生結(jié)果

生成器函數(shù)

為什么叫生成器函數(shù)？因?yàn)樗S著時(shí)間的推移生成了一個(gè)數(shù)值隊(duì)列。一般的函數(shù)在執(zhí)行完畢之后會(huì)返回一個(gè)值然后退出，但是生成器函數(shù)會(huì)自動(dòng)掛起，然后重新拾起急需執(zhí)行，他會(huì)利用yield關(guān)鍵字關(guān)起函數(shù)，給調(diào)用者返回一個(gè)值，同時(shí)保留了當(dāng)前的足夠多的狀態(tài)，可以使函數(shù)繼續(xù)執(zhí)行，生成器和迭代協(xié)議是密切相關(guān)的，可迭代的對象都有一個(gè)next()__成員方法，這個(gè)方法要么返回迭代的下一項(xiàng)，要買引起異常結(jié)束迭代。

歸納：

  1. 函數(shù)有了yield之后，函數(shù)名+（）就變成了生成器
  2. return在生成器中代表生成器的中止，直接報(bào)錯(cuò)
  3. next的作用是喚醒并繼續(xù)執(zhí)行
  4. send的作用是喚醒并繼續(xù)執(zhí)行，發(fā)送一個(gè)信息到生成器內(nèi)部

生成器表達(dá)式

生成器表達(dá)式來源于迭代和列表解析的組合，生成器和列表解析類似，但是它使用尖括號而不是方括號

一個(gè)迭代既可以被寫成生成器函數(shù)，也可以被寫成生成器表達(dá)式，均支持自動(dòng)和手動(dòng)迭代。而且這些生成器只支持一個(gè)active迭代，也就是說生成器的迭代器就是生成器本身。

迭代器（迭代就是循環(huán)）

一類是集合數(shù)據(jù)類型，如list,tuple,dict,set,str等

一類是generator，包括生成器和帶yield的generator function

這些可以直接作用于for 循環(huán)的對象統(tǒng)稱為可迭代對象：Iterable

小結(jié)：

  1. 凡是可作用于for循環(huán)的對象都是Iterable類型；
  2. 凡是可作用于next()函數(shù)的對象都是Iterator類型，它們表示一個(gè)惰性計(jì)算的序列；
  3. 集合數(shù)據(jù)類型如list、dict、str等是Iterable但不是Iterator，不過可以通過iter()函數(shù)獲得一個(gè)Iterator對象。

對yield的總結(jié)
　　（1）：通常的for..in...循環(huán)中，in后面是一個(gè)數(shù)組，這個(gè)數(shù)組就是一個(gè)可迭代對象，類似的還有鏈表，字符串，文件。他可以是a = [1,2,3]，也可以是a = [xx for x in range(3)]。它的缺點(diǎn)也很明顯，就是所有數(shù)據(jù)都在內(nèi)存里面，如果有海量的數(shù)據(jù)，將會(huì)非常耗內(nèi)存。
　　（2）生成器是可以迭代的，但是只可以讀取它一次。因?yàn)橛玫臅r(shí)候才生成，比如a = (xx for x in range(3))。!!!!注意這里是小括號而不是方括號。
　?。?）生成器（generator）能夠迭代的關(guān)鍵是他有next()方法，工作原理就是通過重復(fù)調(diào)用next()方法，直到捕獲一個(gè)異常。
　?。?）帶有yield的函數(shù)不再是一個(gè)普通的函數(shù)，而是一個(gè)生成器generator，可用于迭代
　?。?）yield是一個(gè)類似return 的關(guān)鍵字，迭代一次遇到y(tǒng)ield的時(shí)候就返回yield后面或者右面的值。而且下一次迭代的時(shí)候，從上一次迭代遇到的yield后面的代碼開始執(zhí)行
　?。?）yield就是return返回的一個(gè)值，并且記住這個(gè)返回的位置。下一次迭代就從這個(gè)位置開始。
　?。?）帶有yield的函數(shù)不僅僅是只用于for循環(huán)，而且可用于某個(gè)函數(shù)的參數(shù)，只要這個(gè)函數(shù)的參數(shù)也允許迭代參數(shù)。
　?。?）send()和next()的區(qū)別就在于send可傳遞參數(shù)給yield表達(dá)式，這時(shí)候傳遞的參數(shù)就會(huì)作為yield表達(dá)式的值，而yield的參數(shù)是返回給調(diào)用者的值，也就是說send可以強(qiáng)行修改上一個(gè)yield表達(dá)式值。
　?。?）send()和next()都有返回值，他們的返回值是當(dāng)前迭代遇到的yield的時(shí)候，yield后面表達(dá)式的值，其實(shí)就是當(dāng)前迭代yield后面的參數(shù)。
　　（10）第一次調(diào)用時(shí)候必須先next（）或send（）,否則會(huì)報(bào)錯(cuò)，send后之所以為None是因?yàn)檫@時(shí)候沒有上一個(gè)yield，所以也可以認(rèn)為next（）等同于send(None)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容