09 python函數(shù)式編程

函數(shù)是Python內(nèi)建支持的一種封裝,我們通過把大段代碼拆成函數(shù),通過一層一層的函數(shù)調(diào)用,就可以把復(fù)雜任務(wù)分解成簡單的任務(wù),這種分解可以稱之為面向過程的程序設(shè)計。函數(shù)就是面向過程的程序設(shè)計的基本單元。
函數(shù)式編程--Functional Programming,雖然也可以歸結(jié)到面向過程的程序設(shè)計,但其思想更接近數(shù)學(xué)計算。
我們首先要搞明白計算機(Computer)和計算(Compute)的概念。

在計算機的層次上,CPU執(zhí)行的是加減乘除的指令代碼,以及各種條件判斷和跳轉(zhuǎn)指令,所以,匯編語言是最貼近計算機的語言。

而計算則指數(shù)學(xué)意義上的計算,越是抽象的計算,離計算機硬件越遠。

對應(yīng)到編程語言,就是越低級的語言,越貼近計算機,抽象程度低,執(zhí)行效率高,比如C語言;越高級的語言,越貼近計算,抽象程度高,執(zhí)行效率低,比如Lisp語言。

函數(shù)式編程就是一種抽象程度很高的編程范式,純粹的函數(shù)式編程語言編寫的函數(shù)沒有變量,因此,任意一個函數(shù),只要輸入是確定的,輸出就是確定的,這種純函數(shù)我們稱之為沒有副作用。而允許使用變量的程序設(shè)計語言,由于函數(shù)內(nèi)部的變量狀態(tài)不確定,同樣的輸入,可能得到不同的輸出,因此,這種函數(shù)是有副作用的。

函數(shù)式編程的一個特點就是,允許把函數(shù)本身作為參數(shù)傳入另一個函數(shù),還允許返回一個函數(shù)!

Python對函數(shù)式編程提供部分支持。由于Python允許使用變量,因此,Python不是純函數(shù)式編程語言。

1.高階函數(shù)

High er-order function,以下舉例說明什么叫做高階函數(shù):

  • 變量可以指向函數(shù)
# 以Python內(nèi)置的求絕對值的函數(shù)abs()為例,調(diào)用該函數(shù)用以下代碼:
>>> abs(-10)
10
# 如果只寫abs呢?
>>> abs
<built-in function abs>
# 可見abs(-10)是函數(shù)調(diào)用,而abs是函數(shù)本身
# 要獲得函數(shù)調(diào)用結(jié)果,我們可以把結(jié)果賦值給變量:
>>> x = abs(-10)
>>> x
10
# 但是,如果把函數(shù)本身賦值給變量呢?
>>> f = abs
>>> f
<built-in function abs>
# 結(jié)論:函數(shù)本身也是可以賦值給變量的,即:變量可以指向函數(shù)
>>> f(-10)
10
  • 函數(shù)名也是變量
    那么函數(shù)名是什么呢?函數(shù)名其實就是指向函數(shù)的變量!對于abs()這個函數(shù),完全可以把函數(shù)名abs看成變量,它指向一個可以計算絕對值的函數(shù)!
    如果把abs指向其他對象,會有什么情況發(fā)生?
>>> abs = 10
>>> abs(-10)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'int' object is not callable
# 把abs指向10后,就無法通過abs(-10)調(diào)用該函數(shù)了!因為abs這個變量已經(jīng)不指向求絕對值函數(shù)而是指向一個整數(shù)10!
# 當然實際代碼絕對不能這么寫,這里是為了說明函數(shù)名也是變量。要恢復(fù)abs函數(shù),請重啟Python交互環(huán)境。
# 注:由于abs函數(shù)實際上是定義在import builtins模塊中的,所以要讓修改abs變量的指向在其它模塊也生效,要用import builtins; builtins.abs = 10。
  • 傳入函數(shù)
    既然變量可以指向函數(shù),函數(shù)的參數(shù)能接收變量,那么一個函數(shù)就可以接收另一個函數(shù)作為參數(shù),這種函數(shù)就稱之為高階函數(shù)。
    一個簡單例子:
>>> def add(x, y, f):
...     return f(x)+f(y)
... 
>>> add(5, -10, abs)
15

函數(shù)作為參數(shù)傳入,這樣的函數(shù)稱為高階函數(shù),函數(shù)式編程就是指這種高度抽象的編程范式。

1.1 map/reduce

Python 內(nèi)建了map()和reduce()函數(shù)
map()接收兩個參數(shù),一個是函數(shù),一個是Iterable,map將傳入的函數(shù)依次作用到序列的每個元素,并把結(jié)果作為新的Iterator返回。

舉例說明:
比如我們有一個函數(shù)f(x)=x^2,要把這個函數(shù)作用在一個list [1, 2, 3, 4, 5, 6, 7, 8, 9]上,就可以用map()實現(xiàn)如下:

map_reduce.png

現(xiàn)在,我們用python實現(xiàn):

>>> def f(x):
...     return x * x
... 
>>> r = map(f, [1,2,3,4,5,6,7,8,9])
>>> list(r)
[1, 4, 9, 16, 25, 36, 49, 64, 81]

map()傳入的第一個參數(shù)是f,即函數(shù)對象本身。由于結(jié)果r是一個Iterator,Iterator是惰性序列,因此通過list()函數(shù)讓它把整個序列都計算出來并返回一個list。
你可能會想,不需要map()函數(shù),寫一個循環(huán),也可以計算出結(jié)果:

>>> l = []
>>> for n in [1,2,3,4,5,6,7,8,9]:
...     l.append(f(n))
... 
>>> print(l)
[1, 4, 9, 16, 25, 36, 49, 64, 81]

的確可以,但是,從上面的循環(huán)代碼,能一眼看明白“把f(x)作用在list的每一個元素并把結(jié)果生成一個新的list”嗎?
所以,map()作為高階函數(shù),事實上它把運算規(guī)則抽象了,因此,我們不但可以計算簡單的f(x)=x^2,還可以計算任意復(fù)雜的函數(shù),比如,把這個list所有數(shù)字轉(zhuǎn)為字符串:

>>> list(map(str,[1,2,3,4,5]))
['1', '2', '3', '4', '5']

reduce把一個函數(shù)作用在一個序列[x1,x2,x3,......]上,必須接受兩個參數(shù),reduce把結(jié)果繼續(xù)和序列的下一個元素做累積計算,效果如下:

reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)
# 對一個序列求和,就可以使用reduce實現(xiàn):
>>> from functools import reduce
>>> def add(x, y):
...     return x + y
... 
>>> reduce(add, [1,2,3,4,5,6])
21
#當然求和運算可以直接用Python內(nèi)建函數(shù)sum(),沒必要動用reduce。
#但是如果要把序列[1, 2, 3, 4, 5, 6]變換成整數(shù)123456,reduce就可以派上用場:
>>> def fn(x, y):
...     return x * 10 + y
... 
>>> reduce(fn, [1,2,3,4,5,6])
123456

這個例子本身沒多大用處,但是,如果考慮到字符串str也是一個序列,對上面的例子稍加改動,配合map(),我們就可以寫出把str轉(zhuǎn)換為int的函數(shù):

>>> from functools import reduce
>>> def fn(x, y):
...     return x * 10 + y
... 
>>> def char2num(s):
...     digits = {'0':0, '1':1, '2':2}
...     return digits[s]
... 
>>> reduce(fn, map(char2num, '012'))
12
# 優(yōu)化成一個函數(shù)
>>> DIGITS = {'0':0, '1':1, '2':2}
>>> def str2int(s):
...     def fn(x, y):
...         return x * 10 + y
...     def char2num(s):
...         return DIGITS[s]
...     return reduce(fn, map(char2num, s))
... 
>>> str2int('012')
12
# 繼續(xù)優(yōu)化
>>> def char2num(s):
...     return DIGITS[s]
... 
>>> def str2int(s):
...     return reduce(lambda x, y: x * 10 + y, map(char2num, s))
... 
>>> str2int('012')
12

也就是說,假設(shè)Python沒有提供int()函數(shù),你完全可以自己寫一個把字符串轉(zhuǎn)化為整數(shù)的函數(shù),而且只需要幾行代碼!

lambda函數(shù)的用法在后面介紹。

1.2 filter

python內(nèi)建的filter()函數(shù)用于過濾序列。
和map()類似,filter()也接收一個函數(shù)和一個序列。和map()不同的是,filter()把傳入的函數(shù)依次作用于每個元素。然后根據(jù)返回的值是True還是False決定保留還是丟棄該元素。
例如,在一個list中,刪掉偶數(shù),只保留奇數(shù),可以這樣寫:

>>> def is_odd(n):
...     return n%2 == 1
... 
>>> list(filter(is_odd, [1,2,3,4,5,6,7,8,9]))
[1, 3, 5, 7, 9]

可見用filter()這個高階函數(shù),關(guān)鍵在于正確實現(xiàn)一個“篩選”函數(shù);
注意到fitter()函數(shù)返回的是一個Iterator,也就是一個惰性序列,所以要強迫filter()完成計算結(jié)果,需要用list()函數(shù)獲得所有結(jié)果并返回list。

用filter求素數(shù)

計算素數(shù)的一個方法是埃氏篩法,算法理解起來非常簡單:
首先,列出從2開始的所有自然數(shù),構(gòu)造一個序列:
2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20...
取序列的第一個數(shù)2,它一定是素數(shù),然后用2把序列的2的倍數(shù)篩掉:

3, 5, 7, 9, 11, 13, 15, 17, 19 ...

取新序列的第一個數(shù)3,它一定是素數(shù),然后用3把序列的3的倍數(shù)篩掉:

5, 7, 11, 13, 17, 19 ...

取新序列的第一個數(shù)5,然后用5把序列的5的倍數(shù)篩掉:

7,11,13,17,19...
不斷篩下去,就可以得到所有的素數(shù)。
用python來實現(xiàn)這個算法,可以構(gòu)造一個從3開始的奇數(shù)序列:

>>> def _odd_iter():
...     n = 1
...     while True:
...         n = n + 2
...         yield n
... 

注意這是一個生成器,并且是一個無限序列。
然后定義一個篩選函數(shù):

>>> def _not_divisible(n):
...     return lambda x : x % n > 0
... 

最后定義個生成器,不斷返回下一個素數(shù):

>>> def primes():
...     yield 2
...     it = _odd_iter()
...     while True:
...         n = next(it) #返回序列的第一個數(shù)
...         yield n
...         it = filter(_not_divisible(n), it) #構(gòu)造新序列

這個生成器先返回第一個素數(shù)2,然后,利用filter()不斷產(chǎn)生篩選后的新序列
由于primes()也是一個無限序列,所以調(diào)用時需要設(shè)置一個退出循環(huán)的條件:

>>> #打印1000內(nèi)的素數(shù)
... for n in primes():
...     if n < 1000:
...         print(n)
...     else:
...         break
2
3
5
7
11
13
17
...

1.3 sorted

排序算法

排序也是經(jīng)常在程序中常用到的算法。無論使用冒泡排序還是快速排序,排序的核心都是比較兩個元素的大小。如果是數(shù)字,我們可以直接比較,但如果是字符串或者兩個dict呢?直接比較數(shù)學(xué)上的大小是沒有意義的。因此,比較的過程必須通過函數(shù)抽象出來。
python內(nèi)置的sorted()函數(shù)就可以對list進行排序:

>>> sorted([34, -2, 32, 20])
[-2, 20, 32, 34]

另外sorted()函數(shù)也是一個高階函數(shù),它還可以接收一個key函數(shù)來實現(xiàn)自定義的排序,例如按絕對值大小排序:

>>> sorted([34, -2, -32, 20], key=abs)
[-2, 20, -32, 34]

key指定的函數(shù)將作用于list的每一個元素,并根據(jù)key函數(shù)返回的結(jié)果進行排序。對比原始的list和經(jīng)過key=abs處理過的list
list = [36, 5, -12, 9, -21]
keys = [36, 5, 12, 9, 21]
然后sorted()函數(shù)按照keys進行排序,并按照對應(yīng)關(guān)系返回list相應(yīng)的元素:

keys排序結(jié)果 => [5, 9,  12,  21, 36]
                |  |    |    |   |
最終結(jié)果     => [5, 9, -12, -21, 36]

我們再看一個字符串排序的例子:

>>> sorted(['bob', 'about', 'Zoo', 'Credit'])
['Credit', 'Zoo', 'about', 'bob']

默認情況下,對字符串的排序,是按照ASCII的大小比較的,由'z' < 'a', 結(jié)果, 大寫字母z會排在字母a的前面。
現(xiàn)在,我們提出排序應(yīng)該忽略大小寫,按照字母排序。要實現(xiàn)這個算法,不必對現(xiàn)有代碼大加改動,只要我們能用一個key函數(shù)把字符串映射為忽略大小寫排序即可。忽略大小寫來比較兩個字符串,實際上就是先把字符串都變成大寫(或者都變成小寫),再比較。

>>> sorted(['bob', 'about', 'Zoo', 'Credit'], key=str.lower)
['about', 'bob', 'Credit', 'Zoo']

要進行反向排序,不必改動key函數(shù),可以傳入第三個參數(shù):

>>> sorted(['bob', 'about', 'Zoo', 'Credit'], key=str.lower, reverse=True)
['Zoo', 'Credit', 'bob', 'about']

從上述例子可以看出,高階函數(shù)的抽象能力是非常強大的,而且,核心代碼可以保持得非常簡潔。

2.返回函數(shù)

函數(shù)作為返回值

高階函數(shù)除了可以接受函數(shù)作為參數(shù)外,還可以把函數(shù)作為結(jié)果返回。
實現(xiàn)一個可變參數(shù)的求和,通常情況下,求和的函數(shù)定義如下:

>>> def calc_sum(*args):
...     ax = 0
...     for n in args:
...         ax = ax + n
...     return ax

如果不需要立刻求和,而是在后面的代碼中,根據(jù)需要計算怎么辦?可以不反回求和的結(jié)果,而是返回求和的函數(shù)。

>>> def lazy_sum(*args):
...     def sum():
...         ax = 0
...         for n in args:
...             ax = ax + n
...         return ax
...     return sum

當我們調(diào)用lazy_sum()時,返回的并不是求和的結(jié)果,而是求和函數(shù):

>>> f = lazy_sum(1,2,3,4,5)
>>> f
<function lazy_sum.<locals>.sum at 0x100ca5e18>
# f是一個函數(shù),調(diào)用時才能真正計算求和的結(jié)果
>>> f()
15

在這個例子中,我們在函數(shù)lazy_sum中又定義了函數(shù)sum,并且,內(nèi)部函數(shù)sum可以引用外部函數(shù)lazy_sum的參數(shù)和局部變量,當lazy_sum返回函數(shù)sum時,相關(guān)參數(shù)和變量都保存在返回的函數(shù)中,這種稱為“閉包(Closure)”的程序結(jié)構(gòu)擁有極大的威力。

請再注意一點,當我們調(diào)用lazy_sum()時,每次調(diào)用都會返回一個新的函數(shù),即使傳入相同的參數(shù):

>>> f1 = lazy_sum(1,2,3,4,5)
>>> f2 = lazy_sum(1,2,3,4,5)
>>> f1 == f2
False

f1()和f2()的調(diào)用結(jié)果互不影響。

閉包

注意到返回的函數(shù)在其定義內(nèi)部引用了局部變量args,所以,當一個函數(shù)返回了一個函數(shù)后,其內(nèi)部的局部變量還被新函數(shù)引用,所以,閉包用起來簡單,實現(xiàn)起來可不容易。
另外一個需要注意的是,返回的函數(shù)并沒有立刻執(zhí)行,而是直到調(diào)用了f()才執(zhí)行。例子如下:

>>> def count():
...     fs = []
...     for i in range(1,4):
...         def f():
...             return i*i
...         fs.append(f)
...     return fs
... 
>>> f1, f2, f3 = count()
#在上面的例子中,每次循環(huán),都創(chuàng)建了一個新的函數(shù),然后,把創(chuàng)建的3個函數(shù)都返回了。
#你可能認為調(diào)用f1(),f2()和f3()結(jié)果應(yīng)該是1,4,9,但實際結(jié)果是:
>>> f1()
9
>>> f2()
9
>>> f3()
9

全部都是9!原因就在于返回的函數(shù)引用了變量i,但它并非立刻執(zhí)行。等到3個函數(shù)都返回時,它們所引用的變量i已經(jīng)變成了3,因此最終結(jié)果是9.
??返回閉包時牢記一點:返回函數(shù)不要引用任何循環(huán)變量,或者后續(xù)會發(fā)生變化的變量。
如果一定要引用循環(huán)變量怎么辦?方法是再創(chuàng)建一個函數(shù),用該函數(shù)的參數(shù)綁定循環(huán)變量當前的值,無論該循環(huán)變量后續(xù)如何更改,已綁定到函數(shù)參數(shù)的值不變:

>>> def count():
...     def f(j):
...         def g():
...             return j*j
...         return g
...     fs = []
...     for i in range(1, 4):
...         fs.append(f(i))
...     return fs
... 
>>> f1,f2,f3 = count()
>>> f1()
1
>>> f2()
4
>>> f3()
9

缺點是代碼較長,可利用lambda函數(shù)縮短代碼。

3.匿名函數(shù)

當我們傳入函數(shù)時,有些時候,不需要顯式地定義函數(shù),直接傳入匿名函數(shù)更方便。
在python中,對匿名函數(shù)提供了有限支持,還是以map()函數(shù)為例,計算f(x) = x^2 時,除了定義一個f(x)的函數(shù)外,還可以直接傳入匿名函數(shù)。

>>> list(map(lambda x: x * x, [1,2,3,4,5,6,7,8,9]))
[1, 4, 9, 16, 25, 36, 49, 64, 81]

通過對比可以看出,匿名函數(shù) lambda x: x * x實際是就是:

def f(x):
     return x * x

關(guān)鍵字lambda表示匿名函數(shù),冒號前面的x表示函數(shù)參數(shù)。
匿名函數(shù)有個限制,就是只能有一個表達式,不用寫return,返回值就是該表達式的結(jié)果。
用匿名函數(shù)有一個好處,因為函數(shù)沒有名字,不必擔心函數(shù)名沖突。此外,匿名函數(shù)也是一個函數(shù)對象,也可以把匿名函數(shù)賦值給一個變量,再利用變量來調(diào)用該函數(shù):

>>> f = lambda x: x*x
>>> f
<function <lambda> at 0x106d08e18>
>>> f(5)
25

同樣,也可以把匿名函數(shù)作為返回值返回,比如:

>>> def build(x, y):
...     return lambda: x * x + y * y
... 
>>> build(2 , 3)
<function build.<locals>.<lambda> at 0x106f36e18>
>>> build(2 , 3)()
13

4.裝飾器

由于函數(shù)也是一個對象,而且函數(shù)對象可以賦值給變量,所以通過變量也能調(diào)用該函數(shù)。

>>> def now():
...     print('2018-3-20')
... 
>>> f = now
>>> f()
2018-3-20
>>> 

函數(shù)對象有一個__name__屬性,可以拿到函數(shù)的名字:
>>> now.__name__
'now'
>>> f.__name__
'now'

現(xiàn)在,假設(shè)我們要增強now()函數(shù)的功能,比如,在函數(shù)調(diào)用前后自動打印日志,但又不希望修改now()函數(shù)的定義,這種在代碼運行期間動態(tài)增加功能的方式,稱之為“裝飾器”(Decorator)。

本質(zhì)上,decorator就是一個返回函數(shù)的高階函數(shù)。所以,我們要定義一個能打印日志的decorator,可以定義如下:

>>> def log(func):
...      def wrapper(*args, **kw):
...         print('call %s():' % func.__name__)
...         return func(*args, **kw)
...      return wrapper
... 

觀察上面的log,因為它是一個decorator,所以接受一個函數(shù)作為參數(shù),并返回一個函數(shù)。我們要借助Python的@語法,把decorator置于函數(shù)的定義處:

>>> @log
... def now():
...     print('2018-08-08')
... 
調(diào)用now()函數(shù),不僅會運行now()函數(shù)本身,還會在運行now()函數(shù)前打印一行日志:
>>> now()
call now():
2018-08-08
>>> 

把@log放到now()函數(shù)的定義處,相當于執(zhí)行了語句:

>>> now = log(now)

由于log()是一個decorator,返回一個函數(shù),所以,原來的now()函數(shù)仍然存在,只是現(xiàn)在同名的now變量指向了新的函數(shù),于是調(diào)用now()將執(zhí)行新函數(shù),即在log()函數(shù)中返回的wrapper()函數(shù)。

wrapper()函數(shù)的參數(shù)定義是(*args, **kw),因此,wrapper()函數(shù)可以接受任意參數(shù)的調(diào)用。在wrapper()函數(shù)內(nèi),首先打印日志,再緊接著調(diào)用原始函數(shù)。

如果decorator本身需要傳入?yún)?shù),那就需要編寫一個返回decorator的高階函數(shù),寫出來會更復(fù)雜。比如,要自定義log的文本:

5.偏函數(shù)

python的functools模塊提供了很多有用的功能,其中一個就是偏函數(shù)(Partial function).要注意,這里的偏函數(shù)和數(shù)學(xué)意義上的不一樣,在介紹函數(shù)參數(shù)的時候,我們講到,通過設(shè)定參數(shù)的默認值,可以降低函數(shù)調(diào)用的難度。而偏函數(shù)也可以做到這一點。舉例如下:
int()函數(shù)可以把字符串轉(zhuǎn)換為整數(shù),當僅傳入字符串時,int()函數(shù)默認按十進制轉(zhuǎn)換:

>>> int('123')
123

假設(shè)要轉(zhuǎn)換大量的二進制字符串,每次都傳入int(x, base=2)非常麻煩,于是,我們想到,可以定義一個int2()的函數(shù),默認把base=2傳進去:

>>> def int2(x, base=2):
...     return int(x, base)
... 
>>> int2('1000000')
64
>>> int2('101010101')
341

所以,簡單總結(jié)functools.partial的作用就是,把一個函數(shù)的某些參數(shù)給固定住(也就是設(shè)置默認值),返回一個新的函數(shù),調(diào)用這個新函數(shù)會更簡單。注意到上面的init2函數(shù),僅僅是把base參數(shù)重新設(shè)定默認值2,但也可以在函數(shù)調(diào)用時傳入其他值:

>>> int2('100000', base=10)
100000
>>> int2('100000', base=16)
1048576
>>> int2('100000', base=8)
32768

最后,創(chuàng)建偏函數(shù)時,實際上可以接收函數(shù)對象、args、*kw這3個參數(shù),當傳入:

int2 = functools.partial(int, base=2)

實際上固定了int()函數(shù)的關(guān)鍵字參數(shù)base,也就是:

int2('10010')

相當于

kw = {'base' : 2}
int('10010', **kw)

當傳入:

max2 = functools.partial(max, 10)

實際上會把10作為*args的一部分自動加到左邊,也就是:

max2(5,6,7)

相當于

args = (10, 5 ,6 , 7)
max(*args)

結(jié)果為10

小結(jié)

當函數(shù)的參數(shù)個數(shù)太多,需要簡化時,使用functools.partial可以創(chuàng)建一個新的函數(shù),這個新函數(shù)可以固定住原函數(shù)的部分參數(shù),從而在調(diào)用時更簡單。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容