Python yield from 用法詳解

yield from是Python3.3新出現(xiàn)的句法

替代內(nèi)層for循環(huán)

如果生成器函數(shù)需要產(chǎn)出另一個(gè)生成器生成的值,傳統(tǒng)的解決方法是使用嵌套的for循環(huán):

>>> def chain(*iterables):
...     for it in iterables:
...         for i in it:
...             yield i
>>> s = 'ABC'
>>> t = tuple(range(3))
>>> list(chain(s, t))
['A', 'B', 'C', 0, 1, 2]

chain 生成器函數(shù)把操作依次交給接收到的各個(gè)可迭代對象處理。

Python3.3之后引入了新語法:
>>> def chain(*iterables):
...     for i in iterables:
...         yield from i
...
>>> list(chain(s, t))
['A', 'B', 'C', 0, 1, 2]
  • yield from 完全代替了內(nèi)層的 for 循環(huán)。
  • yield from x 表達(dá)式對 x 對象所做的第一件事是,調(diào)用 iter(x),從中獲取迭代器。因
    此,x 可以是任何可迭代的對象。
  • 在這個(gè)示例中使用 yield from代碼讀起來更順暢,不過感覺更像是語法糖。

上面這個(gè)例子看上去比較簡單(傳統(tǒng)意義上說因?yàn)槲覀冎皇莊or循環(huán)一次就完事,因?yàn)橹磺短琢艘粚樱?,我們再來看幾個(gè)yield from的例子。
例子1:我們有一個(gè)嵌套型的序列,想將它扁平化處理為一列單獨(dú)的值。

from collections import Iterable

def flatten(items, ignore_types=(str, bytes)):
    for x in items:
        if isinstance(x, Iterable) and not isinstance(x, ignore_types):
            yield from flatten(x)
        else:
            yield x

items = [1, 2, [3, 4, [5, 6], 7], 8]
for x in flatten(items):
    print(x)
# output:
 1 2 3 4 5 6 7 8
-----------------------------------------------
items = ['Dave', 'Paula', ['Thomas', 'Lewis']]
for x in flatten(items):
    print(x)

# output:
Dave
Paula
Thomas
Lewis
  • collections.Iterable是一個(gè)抽象基類,我們用isinstance(x, Iterable)檢查某個(gè)元素是否是可迭代的.如果是的話,那么就用yield from將這個(gè)可迭代對象作為一種子例程進(jìn)行遞歸。最終返回結(jié)果就是一個(gè)沒有嵌套的單值序列了。
  • 代碼中額外的參數(shù)ignore types和檢測語句isinstance(x, ignore types)用來將字符
    串和字節(jié)排除在可迭代對象外,防止將它們再展開成單個(gè)的字符。
  • 如果這里不用yield from的話,那么就需要另外一個(gè)for來嵌套,并不是一種優(yōu)雅的操作

例子2:利用一個(gè)Node類來表示樹結(jié)構(gòu)

class Node:
    def __init__(self, value):
        self._value = value
        self._children = []

    def __repr__(self):
        return 'Node({!r})'.format(self._value)

    def add_child(self, node):
        self._children.append(node)

    def __iter__(self):
        return iter(self._children)

    def depth_first(self):
        yield self
        for c in self:
            yield from c.depth_first()


if __name__ == '__main__':
    root = Node(0)
    child1 = Node(1)
    child2 = Node(2)
    root.add_child(child1)
    root.add_child(child2)
    child1.add_child(Node(3))
    child1.add_child(Node(4))
    child2.add_child(Node(5))
    for ch in root.depth_first():
        print(ch)
  • __iter__代表一個(gè)Pyton的迭代協(xié)議,返回一個(gè)迭代器對象,就能迭代了
  • depth_frist返回一個(gè)生成器,仔細(xì)體會其中的yieldyield from用法

上面兩個(gè)例子無論是樹還是嵌套序列,都比較復(fù)雜,觀察這里yield from跟的是什么,跟的是函數(shù),生成器函數(shù),而且都是在函數(shù)內(nèi)遞歸。雖然我也不是理解的很透徹 =,= 。但現(xiàn)在應(yīng)該知道,這是yield from一種常用的方法了(認(rèn)真體會,手動(dòng)滑稽)。

打開雙通道

如果 yield from 結(jié)構(gòu)唯一的作用是替代產(chǎn)出值的嵌套 for 循環(huán),這個(gè)結(jié)構(gòu)很有可能不會添加到 Python 語言中。yield from 結(jié)構(gòu)的本質(zhì)作用無法通過簡單的可迭代對象說明,而要發(fā)散思維,使用嵌套的生成器。
yield from 的主要功能是打開雙向通道,把最外層的調(diào)用方與最內(nèi)層的子生成器連接起來,這樣二者可以直接發(fā)送和產(chǎn)出值,還可以直接傳入異常,而不用在位于中間的協(xié)程中添加大量處理異常的樣板代碼。有了這個(gè)結(jié)構(gòu),協(xié)程可以通過以前不可能的方式委托職責(zé)。
這里有張?jiān)敿?xì)圖來說明三者關(guān)系:http://flupy.org/resources/yield-from.pdf

caller,delegating generator and downstream generator

這里只是大概展示下三者關(guān)系,具體的內(nèi)容可以去上面那個(gè)網(wǎng)址仔細(xì)觀察。
例子就不展開了,有興趣的童鞋可以去 Fluent Python這本書上 查看 示例16-17。并且結(jié)合示例圖好好體會(我也有待好好體會)

總結(jié):

  1. yield from常用來代替內(nèi)層for循環(huán) 與 打開雙通道
  2. 但是大部分情況下yield from并不單獨(dú)使用,而是伴隨著asyncio庫使用,實(shí)現(xiàn)異步操作(一異步操作后面講)
  3. 從Python 3.5開始引入了新的語法 asyncawait ,而await替代的就是yield from(為了不與實(shí)現(xiàn)內(nèi)層for循環(huán)的yield from誤解)

參考資料

David beazley協(xié)程
Fluent Python
Python Cookbook

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 把函數(shù)視為對象:一等函數(shù) 把函數(shù)視為對象 python函數(shù)是對象。 高階函數(shù) 函數(shù)式編程的特點(diǎn)之一是使用高階函數(shù)。...
    plutoese閱讀 1,614評論 0 52
  • 從語法上來看,協(xié)程和生成器類似,都是定義體中包含yield關(guān)鍵字的函數(shù)。yield在協(xié)程中的用法:在協(xié)程中yiel...
    JokerW閱讀 1,864評論 0 0
  • 你不知道JS:異步 第四章:生成器(Generators) 在第二章,我們明確了采用回調(diào)表示異步流的兩個(gè)關(guān)鍵缺點(diǎn):...
    purple_force閱讀 1,044評論 0 2
  • PYTHON-進(jìn)階-ITERTOOLS模塊小結(jié)轉(zhuǎn)自wklken:http://wklken.me/posts/20...
    C_Y_閱讀 1,172評論 0 2
  • 山高林密彩云南, 風(fēng)疾雪厚藏高原。 誰道蜀人多悠閑, 枕戈待旦衛(wèi)長天。
    成都獨(dú)行俠閱讀 626評論 0 2

友情鏈接更多精彩內(nèi)容