W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
檢查蜘蛛輸出的最基本方法是使用 ?parse
? 命令。它允許在方法級別檢查spider的不同部分的行為。它的優(yōu)點是靈活和易于使用,但不允許在方法內(nèi)部調(diào)試代碼。
為了查看從特定URL中獲取的項目:
$ scrapy parse --spider=myspider -c parse_item -d 2 <item_url>
[ ... scrapy log lines crawling example.com spider ... ]
>>> STATUS DEPTH LEVEL 2 <<<
# Scraped Items ------------------------------------------------------------
[{'url': <item_url>}]
# Requests -----------------------------------------------------------------
[]
使用 ?--verbose
? 或 ?-v
? 選項我們可以看到每個深度級別的狀態(tài):
$ scrapy parse --spider=myspider -c parse_item -d 2 -v <item_url>
[ ... scrapy log lines crawling example.com spider ... ]
>>> DEPTH LEVEL: 1 <<<
# Scraped Items ------------------------------------------------------------
[]
# Requests -----------------------------------------------------------------
[<GET item_details_url>]
>>> DEPTH LEVEL: 2 <<<
# Scraped Items ------------------------------------------------------------
[{'url': <item_url>}]
# Requests -----------------------------------------------------------------
[]
檢查從一個開始的項目,也可以很容易地實現(xiàn)使用::
$ scrapy parse --spider=myspider -d 3 'http://example.com/page1'
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: