我們學(xué)習(xí)的python爬蟲,在沒有涉及到多線程之前,都只能算小打小鬧。一旦使用了多線程,python爬蟲的效率就會(huì)像解除封印一樣蹭蹭蹭的往上漲。那么怎么使用多線程來進(jìn)行數(shù)據(jù)爬取呢?今天我們就來聊一聊線程池的使用。
使用多線程進(jìn)行爬蟲,效率在暴漲的同時(shí)也會(huì)給服務(wù)器增加更重的負(fù)擔(dān),這樣也更容易被對方發(fā)覺和起訴,如果只是學(xué)習(xí)爬蟲,建議多線程這塊內(nèi)容了解即可,千萬不要在爬蟲中濫用!
一、前言
學(xué)到現(xiàn)在,我們可以說已經(jīng)學(xué)習(xí)了爬蟲的基礎(chǔ)知識,如果沒有那些奇奇怪怪的反爬蟲機(jī)制,基本上只要有時(shí)間分析,一般的數(shù)據(jù)都是可以爬取的,那么到了這個(gè)時(shí)候我們需要考慮的就是爬取的效率了,關(guān)于提高爬蟲效率,也就是實(shí)現(xiàn)異步爬蟲,我們可以考慮以下兩種方式:一是線程池的使用(也就是實(shí)現(xiàn)單進(jìn)程下的多線程),一是協(xié)程的使用(如果沒有記錯(cuò),我所使用的協(xié)程模塊是從python3.4以后引入的,我寫博客時(shí)使用的python版本是3.9)。
今天我們先來講講線程池。
二、同步代碼演示
我們先用普通的同步的形式寫一段代碼
import time def func(url): print("正在下載:", url) time.sleep(2) print("下載完成:", url) if __name__ == '__main__': start = time.time() # 開始時(shí)間 url_list = [ "a", "b", "c" ] for url in url_list: func(url) end = time.time() # 結(jié)束時(shí)間 print(end - start)
對于代碼運(yùn)行的結(jié)果我們心里都有數(shù),但還是讓我們來看一下吧
不出所料。運(yùn)行時(shí)間果然是六秒
三、異步,線程池代碼
那么如果我們使用線程池運(yùn)行上述代碼又會(huì)怎樣呢?
import time from multiprocessing import Pool def func(url): print("正在下載:", url) time.sleep(2) print("下載完成:", url) if __name__ == '__main__': start = time.time() # 開始時(shí)間 url_list = [ "a", "b", "c" ] pool = Pool(len(url_list)) # 實(shí)例化一個(gè)線程池對象,并且設(shè)定線程池的上限數(shù)量為列表長度。不設(shè)置上限也可以。 pool.map(func, url_list) end = time.time() # 結(jié)束時(shí)間 print(end - start)
下面就是見證奇跡的時(shí)候了,讓我們運(yùn)行程序
我們發(fā)現(xiàn)這次我們的運(yùn)行時(shí)間只用2~3秒。其實(shí)我們可以將線程池簡單的理解為將多個(gè)任務(wù)同時(shí)進(jìn)行。
注意:
1.我使用的是 pycharm,如果使用的是 VS 或者說是 python 自帶的 idle,在運(yùn)行時(shí)我們只能看到最后時(shí)間的輸出。
2.我們輸出結(jié)果可能并不是按 abc 的順序輸出的。
四、同步爬蟲爬取圖片
因?yàn)槲覀兊闹攸c(diǎn)是線程池的爬取效率提高,我們就簡單的爬取一頁的圖片。
import requests import time import os from lxml import etree def save_photo(url, title): # UA偽裝 header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36" } # 發(fā)送請求 photo = requests.get(url=url, headers=header).content # 創(chuàng)建路徑,避免重復(fù)下載 if not os.path.exists("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\同步爬蟲爬取4K美女圖片\" + title + ".jpg"): with open("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\同步爬蟲爬取4K美女圖片\" + title + ".jpg", "wb") as fp: print(title, "開始下載!!!") fp.write(photo) print(title, "下載完成!??!") if __name__ == '__main__': start = time.time() # 創(chuàng)建文件夾 if not os.path.exists("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\同步爬蟲爬取4K美女圖片"): os.mkdir("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\同步爬蟲爬取4K美女圖片") # UA偽裝 header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36" } # 指定url url = "https://pic.netbian.com/4kmeinv/" # 發(fā)送請求,獲取源碼 page = requests.get(url = url, headers = header).text # xpath 解析,獲取圖片的下載地址的列表 tree = etree.HTML(page) url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href') # 通過下載地址獲取高清圖片的地址和圖片名稱 for href in url_list: new_url = "https://pic.netbian.com" + href # 再一次發(fā)送請求 page = requests.get(url = new_url, headers = header).text # 再一次 xpath 解析 new_tree = etree.HTML(page) src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0] title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0] # 編譯文字 title = title.encode("iso-8859-1").decode("gbk") # 下載,保存 save_photo(src, title) end = time.time() print(end - start)
讓我們看看同步爬蟲需要多長時(shí)間
然后再讓我們看看使用線程池的異步爬蟲爬取這些圖片需要多久
五、使用線程池的異步爬蟲爬取4K美女圖片
import requests import time import os from lxml import etree from multiprocessing import Pool def save_photo(src_title): # UA偽裝 header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36" } # 發(fā)送請求 url = src_title[0] title = src_title[1] photo = requests.get(url=url, headers=header).content # 創(chuàng)建路徑,避免重復(fù)下載 if not os.path.exists("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\異步爬蟲爬取4K美女圖片\" + title + ".jpg"): with open("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\異步爬蟲爬取4K美女圖片\" + title + ".jpg", "wb") as fp: print(title, "開始下載?。?!") fp.write(photo) print(title, "下載完成!!!") if __name__ == '__main__': start = time.time() # 創(chuàng)建文件夾 if not os.path.exists("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\異步爬蟲爬取4K美女圖片"): os.mkdir("C:\Users\ASUS\Desktop\CSDN\高性能異步爬蟲\線程池\異步爬蟲爬取4K美女圖片") # UA偽裝 header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36" } # 指定url url = "https://pic.netbian.com/4kmeinv/" # 發(fā)送請求,獲取源碼 page = requests.get(url = url, headers = header).text # xpath 解析,獲取圖片的下載地址的列表 tree = etree.HTML(page) url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href') # 存儲(chǔ)最后的網(wǎng)址和標(biāo)題的列表 src_list = [] title_list = [] # 通過下載地址獲取高清圖片的地址和圖片名稱 for href in url_list: new_url = "https://pic.netbian.com" + href # 再一次發(fā)送請求 page = requests.get(url = new_url, headers = header).text # 再一次 xpath 解析 new_tree = etree.HTML(page) src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0] src_list.append(src) title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0] # 編譯文字 title = title.encode("iso-8859-1").decode("gbk") title_list.append(title) # 下載,保存。使用線程池 pool = Pool() src_title = zip(src_list, title_list) pool.map(save_photo, list(src_title)) end = time.time() print(end - start)
讓我們來看看運(yùn)行的結(jié)果
只用了 17 秒,可不要小瞧這幾秒,如果數(shù)據(jù)太大,這些差距后來就會(huì)更大了。
注意
不過我們必須要明白 線程池 是有上限的,這就是說數(shù)據(jù)太大,線程池的效率也會(huì)降低,所以這就要用到協(xié)程模塊了。
到此這篇關(guān)于Python爬蟲之線程池的使用的文章就介紹到這了,更多相關(guān)Python線程池的使用內(nèi)容請搜索W3Cschool以前的文章或繼續(xù)瀏覽下面的相關(guān)文章。