Python函數(shù)式編程指南（三）：迭代器詳解

更新時(shí)間：2015年06月24日 10:37:48 作者：AstralWind

這篇文章主要介紹了Python函數(shù)式編程指南（三）：迭代器詳解,本文講解了迭代器(Iterator)概述、使用迭代器、生成器表達(dá)式(Generator expression)和列表解析(List Comprehension)等內(nèi)容,需要的朋友可以參考下

3. 迭代器

3.1. 迭代器(Iterator)概述

迭代器是訪問集合內(nèi)元素的一種方式。迭代器對(duì)象從集合的第一個(gè)元素開始訪問，直到所有的元素都被訪問一遍后結(jié)束。

迭代器不能回退，只能往前進(jìn)行迭代。這并不是什么很大的缺點(diǎn)，因?yàn)槿藗儙缀醪恍枰诘局羞M(jìn)行回退操作。

迭代器也不是線程安全的，在多線程環(huán)境中對(duì)可變集合使用迭代器是一個(gè)危險(xiǎn)的操作。但如果小心謹(jǐn)慎，或者干脆貫徹函數(shù)式思想堅(jiān)持使用不可變的集合，那這也不是什么大問題。

對(duì)于原生支持隨機(jī)訪問的數(shù)據(jù)結(jié)構(gòu)（如tuple、list），迭代器和經(jīng)典for循環(huán)的索引訪問相比并無優(yōu)勢(shì)，反而丟失了索引值（可以使用內(nèi)建函數(shù)enumerate()找回這個(gè)索引值，這是后話）。但對(duì)于無法隨機(jī)訪問的數(shù)據(jù)結(jié)構(gòu)（比如set）而言，迭代器是唯一的訪問元素的方式。

迭代器的另一個(gè)優(yōu)點(diǎn)就是它不要求你事先準(zhǔn)備好整個(gè)迭代過程中所有的元素。迭代器僅僅在迭代至某個(gè)元素時(shí)才計(jì)算該元素，而在這之前或之后，元素可以不存在或者被銷毀。這個(gè)特點(diǎn)使得它特別適合用于遍歷一些巨大的或是無限的集合，比如幾個(gè)G的文件，或是斐波那契數(shù)列等等。這個(gè)特點(diǎn)被稱為延遲計(jì)算或惰性求值(Lazy evaluation)。

迭代器更大的功勞是提供了一個(gè)統(tǒng)一的訪問集合的接口。只要是實(shí)現(xiàn)了__iter__()方法的對(duì)象，就可以使用迭代器進(jìn)行訪問。

3.2. 使用迭代器

使用內(nèi)建的工廠函數(shù)iter(iterable)可以獲取迭代器對(duì)象：

復(fù)制代碼代碼如下:

>>> lst = range(2)

>>> it = iter(lst)

>>> it

<listiterator object at 0x00BB62F0>

使用迭代器的next()方法可以訪問下一個(gè)元素：

復(fù)制代碼代碼如下:

>>> it.next()

0

如果是Python 2.6+，還有內(nèi)建函數(shù)next(iterator)可以完成這一功能：

復(fù)制代碼代碼如下:

>>> next(it) 

1

如何判斷迭代器還有更多的元素可以訪問呢？Python里的迭代器并沒有提供類似has_next()這樣的方法。
那么在這個(gè)例子中，我們已經(jīng)訪問到了最后一個(gè)元素1，再使用next()方法會(huì)怎樣呢？

復(fù)制代碼代碼如下:

>>> it.next() 

Traceback (most recent call last): 

  File "<stdin>", line 1, in <module> 

StopIteration

Python遇到這樣的情況時(shí)將會(huì)拋出StopIteration異常。事實(shí)上，Python正是根據(jù)是否檢查到這個(gè)異常來決定是否停止迭代的。
這種做法與迭代前手動(dòng)檢查是否越界相比各有優(yōu)點(diǎn)。但Python的做法總有一些利用異常進(jìn)行流程控制的嫌疑。

了解了這些情況以后，我們就能使用迭代器進(jìn)行遍歷了。

復(fù)制代碼代碼如下:

it = iter(lst)

try:

    while True:

        val = it.next()

        print val

except StopIteration:

    pass

實(shí)際上，因?yàn)榈僮魅绱似毡?，Python專門將關(guān)鍵字for用作了迭代器的語(yǔ)法糖。在for循環(huán)中，Python將自動(dòng)調(diào)用工廠函數(shù)iter()獲得迭代器，自動(dòng)調(diào)用next()獲取元素，還完成了檢查StopIteration異常的工作。上述代碼可以寫成如下的形式，你一定非常熟悉：

復(fù)制代碼代碼如下:

for val in lst:

    print val

首先Python將對(duì)關(guān)鍵字in后的對(duì)象調(diào)用iter函數(shù)獲取迭代器，然后調(diào)用迭代器的next方法獲取元素，直到拋出StopIteration異常。對(duì)迭代器調(diào)用iter函數(shù)時(shí)將返回迭代器自身，所以迭代器也可以用于for語(yǔ)句中，不需要特殊處理。

常用的幾個(gè)內(nèi)建數(shù)據(jù)結(jié)構(gòu)tuple、list、set、dict都支持迭代器，字符串也可以使用迭代操作。你也可以自己實(shí)現(xiàn)一個(gè)迭代器，如上所述，只需要在類的__iter__方法中返回一個(gè)對(duì)象，這個(gè)對(duì)象擁有一個(gè)next()方法，這個(gè)方法能在恰當(dāng)?shù)臅r(shí)候拋出StopIteration異常即可。但是需要自己實(shí)現(xiàn)迭代器的時(shí)候不多，即使需要，使用生成器會(huì)更輕松。下一篇我們將討論生成器的部分。

*異常并不是非拋出不可的，不拋出該異常的迭代器將進(jìn)行無限迭代，某些情況下這樣的迭代器很有用。這種情況下，你需要自己判斷元素并中止，否則就死循環(huán)了！

使用迭代器的循環(huán)可以避開索引，但有時(shí)候我們還是需要索引來進(jìn)行一些操作的。這時(shí)候內(nèi)建函數(shù)enumerate就派上用場(chǎng)咯，它能在iter函數(shù)的結(jié)果前加上索引，以元組返回，用起來就像這樣：

復(fù)制代碼代碼如下:

for idx, ele in enumerate(lst):

    print idx, ele

3.3. 生成器表達(dá)式(Generator expression)和列表解析(List Comprehension)
絕大多數(shù)情況下，遍歷一個(gè)集合都是為了對(duì)元素應(yīng)用某個(gè)動(dòng)作或是進(jìn)行篩選。如果看過本文的第二部分，你應(yīng)該還記得有內(nèi)建函數(shù)map和filter提供了這些功能，但Python仍然為這些操作提供了語(yǔ)言級(jí)的支持。

復(fù)制代碼代碼如下:

(x+1 for x in lst) #生成器表達(dá)式，返回迭代器。外部的括號(hào)可在用于參數(shù)時(shí)省略。 

[x+1 for x in lst] #列表解析，返回list

如你所見，生成器表達(dá)式和列表解析（注：這里的翻譯有很多種，比如列表展開、列表推導(dǎo)等等，指的是同一個(gè)意思）的區(qū)別很小，所以人們提到這個(gè)特性時(shí)，簡(jiǎn)單起見往往只描述成列表解析。然而由于返回迭代器時(shí)，并不是在一開始就計(jì)算所有的元素，這樣能得到更多的靈活性并且可以避開很多不必要的計(jì)算，所以除非你明確希望返回列表，否則應(yīng)該始終使用生成器表達(dá)式。接下來的文字里我就不區(qū)分這兩種形式了：）

你也可以為列表解析提供if子句進(jìn)行篩選：

復(fù)制代碼代碼如下:

(x+1 for x in lst if x!=0)

或者提供多條for子句進(jìn)行嵌套循環(huán)，嵌套次序就是for子句的順序：

復(fù)制代碼代碼如下:

((x, y) for x in range(3) for y in range(x))

列表解析就是鮮明的Pythonic。我常遇到兩個(gè)使用列表解析的問題，本應(yīng)歸屬于最佳實(shí)踐，但這兩個(gè)問題非常典型，所以不妨在這里提一下：

第一個(gè)問題是，因?yàn)閷?duì)元素應(yīng)用的動(dòng)作太復(fù)雜，不能用一個(gè)表達(dá)式寫出來，所以不使用列表解析。這是典型的思想沒有轉(zhuǎn)變的例子，如果我們將動(dòng)作封裝成函數(shù)，那不就是一個(gè)表達(dá)式了么？

第二個(gè)問題是，因?yàn)閕f子句里的條件需要計(jì)算，同時(shí)結(jié)果也需要進(jìn)行同樣的計(jì)算，不希望計(jì)算兩遍，就像這樣：

復(fù)制代碼代碼如下:

(x.doSomething() for x in lst if x.doSomething()>0)

這樣寫確實(shí)很糟糕，但組合一下列表解析即可解決：

復(fù)制代碼代碼如下:

(x for x in (y.doSomething() for y in lst) if x>0)

內(nèi)部的列表解析變量其實(shí)也可以用x，但為清晰起見我們改成了y。或者更清楚的，可以寫成兩個(gè)表達(dá)式：

復(fù)制代碼代碼如下:

tmp = (x.doSomething() for x in lst)

(x for x in tmp if x > 0)

列表解析可以替代絕大多數(shù)需要用到map和filter的場(chǎng)合，可能正因?yàn)榇耍撵o態(tài)檢查工具pylint將map和filter的使用列為了警告。

3.4. 相關(guān)的庫(kù)

Python內(nèi)置了一個(gè)模塊itertools，包含了很多函數(shù)用于creating iterators for efficient looping（創(chuàng)建更有效率的循環(huán)迭代器），這說明很是霸氣，這一小節(jié)就來瀏覽一遍這些函數(shù)并留下印象吧，需要這些功能的時(shí)候隱約記得這里面有就好。這一小節(jié)的內(nèi)容翻譯自itertools模塊官方文檔。

3.4.1. 無限迭代

count(start, [step])

從start開始，以后每個(gè)元素都加上step。step默認(rèn)值為1。
count(10) --> 10 11 12 13 14 ...

cycle(p)

迭代至序列p的最后一個(gè)元素后，從p的第一個(gè)元素重新開始。
cycle('ABCD') --> A B C D A B C D ...

repeat(elem [,n])

將elem重復(fù)n次。如果不指定n，則無限重復(fù)。
repeat(10, 3) --> 10 10 10

3.4.2. 在最短的序列參數(shù)終止時(shí)停止迭代
chain(p, q, ...)
迭代至序列p的最后一個(gè)元素后，從q的第一個(gè)元素開始，直到所有序列終止。
chain('ABC', 'DEF') --> A B C D E F
compress(data, selectors)
如果bool(selectors[n])為True，則next()返回data[n]，否則跳過data[n]。
compress('ABCDEF', [1,0,1,0,1,1]) --> A C E F
dropwhile(pred, seq)
當(dāng)pred對(duì)seq[n]的調(diào)用返回False時(shí)才開始迭代。
dropwhile(lambda x: x<5, [1,4,6,4,1]) --> 6 4 1
takewhile(pred, seq)
dropwhile的相反版本。
takewhile(lambda x: x<5, [1,4,6,4,1]) --> 1 4
ifilter(pred, seq)
內(nèi)建函數(shù)filter的迭代器版本。
ifilter(lambda x: x%2, range(10)) --> 1 3 5 7 9
ifilterfalse(pred, seq)
ifilter的相反版本。
ifilterfalse(lambda x: x%2, range(10)) --> 0 2 4 6 8
imap(func, p, q, ...)
內(nèi)建函數(shù)map的迭代器版本。
imap(pow, (2,3,10), (5,2,3)) --> 32 9 1000
starmap(func, seq)
將seq的每個(gè)元素以變長(zhǎng)參數(shù)(*args)的形式調(diào)用func。
starmap(pow, [(2,5), (3,2), (10,3)]) --> 32 9 1000
izip(p, q, ...)
內(nèi)建函數(shù)zip的迭代器版本。
izip('ABCD', 'xy') --> Ax By
izip_longest(p, q, ..., fillvalue=None)
izip的取最長(zhǎng)序列的版本，短序列將填入fillvalue。
izip_longest('ABCD', 'xy', fillvalue='-') --> Ax By C- D-
tee(it, n)
返回n個(gè)迭代器it的復(fù)制迭代器。
groupby(iterable[, keyfunc])
這個(gè)函數(shù)功能類似于SQL的分組。使用groupby前，首先需要使用相同的keyfunc對(duì)iterable進(jìn)行排序，比如調(diào)用內(nèi)建的sorted函數(shù)。然后，groupby返回迭代器，每次迭代的元素是元組(key值, iterable中具有相同key值的元素的集合的子迭代器)?；蛟S看看Python的排序指南對(duì)理解這個(gè)函數(shù)有幫助。
groupby([0, 0, 0, 1, 1, 1, 2, 2, 2]) --> (0, (0 0 0)) (1, (1 1 1)) (2, (2 2 2))

3.4.3. 組合迭代器
product(p, q, ... [repeat=1])
笛卡爾積。
product('ABCD', repeat=2) --> AA AB AC AD BA BB BC BD CA CB CC CD DA DB DC DD
permutations(p[, r])
去除重復(fù)的元素。
permutations('ABCD', 2) --> AB AC AD BA BC BD CA CB CD DA DB DC
combinations(p, r)
排序后去除重復(fù)的元素。
combinations('ABCD', 2) --> AB AC AD BC BD CD
combinations_with_replacement()
排序后，包含重復(fù)元素。
combinations_with_replacement('ABCD', 2) --> AA AB AC AD BB BC BD CC CD DD
此篇結(jié)束。