App下載

scrapy 調(diào)用 parse(),parse() 調(diào)用 func() 使用 yield

猿友 2020-12-30 15:50:47 瀏覽數(shù) (4794)
反饋

在scrapy中調(diào)用parse()方法,parse()方法中調(diào)用其他函數(shù)func(),func需要返回Item,使用方法如下:

#在parse()中調(diào)用其他yield函數(shù),需要寫成寫成循環(huán)并yield其中的內(nèi)容

def parse():

    # 正確調(diào)用

    for item in parse_comment(a, b):

        yield item

    # 錯誤調(diào)用,無法得到數(shù)據(jù)

    parse_comment(a, b)

def parse_comment(a,b):

    for a in b:

        yield c

yield

yield 的作用就是把一個函數(shù)變成一個生成器(generator),帶有yield的函數(shù)不再是一個普通函數(shù).Python解釋器會將其視為一個generator,單獨(dú)調(diào)用(如fab(5))不會執(zhí)行fab函數(shù),而是返回一個 iterable 對象!

在for循環(huán)執(zhí)行時,每次循環(huán)都會執(zhí)行fab函數(shù)內(nèi)部的代碼,執(zhí)行到y(tǒng)ield b時,fab函數(shù)就返回一個迭代值,下次迭代時,代碼從 yield b 的下一條語句繼續(xù)執(zhí)行,而函數(shù)的本地變量看起來和上次中斷執(zhí)行前是完全一樣的,于是函數(shù)繼續(xù)執(zhí)行,直到再次遇到 yield。

結(jié)論:yield要使用在循環(huán)中,這樣生成器才有使用的意義。

def fab(max):

   n, a, b = 0, 0, 1

   while n < max:

      # print b

      yield b

      # print b

      a, b = b, a + b

      n = n + 1

print(fab(5))  # 輸出:<generator object fab at 0x00000000069D8A68>

for n in fab(5):

    print n    # 依次1,1,2,3,5

#對于含有yield的函數(shù),外部要以迭代的方式調(diào)用,當(dāng)函數(shù)執(zhí)行結(jié)束時,generator 自動拋出 StopIteration 異常,表示迭代完成。

# 在 for 循環(huán)里,無需處理 StopIteration 異常,循環(huán)會正常結(jié)束。

def ff(max):

   a,b = 0,1

   yield max  # yield不在循環(huán)中,這里已經(jīng)到函數(shù)最后所以直接返回,相當(dāng)于return

for n in ff(5):

   print n    # 輸出:5

推薦好課:Python 靜態(tài)爬蟲、Python Scrapy網(wǎng)絡(luò)爬蟲


2 人點贊