scrapy 2.3 解析命令

檢查蜘蛛輸出的最基本方法是使用 ?parse? 命令。它允許在方法級別檢查spider的不同部分的行為。它的優(yōu)點是靈活和易于使用，但不允許在方法內(nèi)部調(diào)試代碼。

為了查看從特定URL中獲取的項目：

$ scrapy parse --spider=myspider -c parse_item -d 2 <item_url>
[ ... scrapy log lines crawling example.com spider ... ]

>>> STATUS DEPTH LEVEL 2 <<<
# Scraped Items  ------------------------------------------------------------
[{'url': <item_url>}]

# Requests  -----------------------------------------------------------------
[]

使用 ?--verbose? 或 ?-v? 選項我們可以看到每個深度級別的狀態(tài)：

$ scrapy parse --spider=myspider -c parse_item -d 2 -v <item_url>
[ ... scrapy log lines crawling example.com spider ... ]

>>> DEPTH LEVEL: 1 <<<
# Scraped Items  ------------------------------------------------------------
[]

# Requests  -----------------------------------------------------------------
[<GET item_details_url>]


>>> DEPTH LEVEL: 2 <<<
# Scraped Items  ------------------------------------------------------------
[{'url': <item_url>}]

# Requests  -----------------------------------------------------------------
[]

檢查從一個開始的項目，也可以很容易地實現(xiàn)使用：：

$ scrapy parse --spider=myspider -d 3 'http://example.com/page1'