在scrapy中調(diào)用parse()方法,parse()方法中調(diào)用其他函數(shù)func(),func需要返回Item,使用方法如下:
#在parse()中調(diào)用其他yield函數(shù),需要寫成寫成循環(huán)并yield其中的內(nèi)容
def parse():
# 正確調(diào)用
for item in parse_comment(a, b):
yield item
# 錯誤調(diào)用,無法得到數(shù)據(jù)
parse_comment(a, b)
def parse_comment(a,b):
for a in b:
yield c
yield
yield 的作用就是把一個函數(shù)變成一個生成器(generator),帶有yield的函數(shù)不再是一個普通函數(shù).Python解釋器會將其視為一個generator,單獨(dú)調(diào)用(如fab(5))不會執(zhí)行fab函數(shù),而是返回一個 iterable 對象!
在for循環(huán)執(zhí)行時,每次循環(huán)都會執(zhí)行fab函數(shù)內(nèi)部的代碼,執(zhí)行到y(tǒng)ield b時,fab函數(shù)就返回一個迭代值,下次迭代時,代碼從 yield b 的下一條語句繼續(xù)執(zhí)行,而函數(shù)的本地變量看起來和上次中斷執(zhí)行前是完全一樣的,于是函數(shù)繼續(xù)執(zhí)行,直到再次遇到 yield。
結(jié)論:yield要使用在循環(huán)中,這樣生成器才有使用的意義。
def fab(max):
n, a, b = 0, 0, 1
while n < max:
# print b
yield b
# print b
a, b = b, a + b
n = n + 1
print(fab(5)) # 輸出:<generator object fab at 0x00000000069D8A68>
for n in fab(5):
print n # 依次1,1,2,3,5
#對于含有yield的函數(shù),外部要以迭代的方式調(diào)用,當(dāng)函數(shù)執(zhí)行結(jié)束時,generator 自動拋出 StopIteration 異常,表示迭代完成。
# 在 for 循環(huán)里,無需處理 StopIteration 異常,循環(huán)會正常結(jié)束。
def ff(max):
a,b = 0,1
yield max # yield不在循環(huán)中,這里已經(jīng)到函數(shù)最后所以直接返回,相當(dāng)于return
for n in ff(5):
print n # 輸出:5
推薦好課:Python 靜態(tài)爬蟲、Python Scrapy網(wǎng)絡(luò)爬蟲