一開始都是先去《英雄聯(lián)盟》官網(wǎng)找到英雄及皮膚圖片的網(wǎng)址:
URL = r'https://lol.qq.com/data/info-heros.shtml'
從上面網(wǎng)址可以看到所有英雄都在,按下F12查看源代碼,發(fā)現(xiàn)英雄及皮膚圖片并沒有直接給出,而是隱藏在JS文件中。這時(shí)候需要點(diǎn)開Network,找到j(luò)s窗口,刷新網(wǎng)頁,就看到一個(gè)champion.js的選項(xiàng),點(diǎn)擊可以看到一個(gè)字典——里面就包含了所有英雄的名字(英文)以及對應(yīng)的編號(如下圖)。
但是只有英雄的名字(英文)以及對應(yīng)的編號并不能找到圖片地址,于是回到網(wǎng)頁,隨便點(diǎn)開一個(gè)英雄,跳轉(zhuǎn)頁面后發(fā)現(xiàn)英雄及皮膚的圖片都在,但要下載還需要找到原地址,這是鼠標(biāo)右擊選擇“在新標(biāo)簽頁中打開”,新的網(wǎng)頁才是圖片的原地址(如下圖)。
圖中紅色框就是我們需要的圖片地址,經(jīng)過分析知道:每一個(gè)英雄及皮膚的地址只有編號不一樣(http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg),而該編號有6位,前3位表示英雄,后三位表示皮膚。剛才找到的js文件中恰好有英雄的編號,而皮膚的編碼可以自己定義,反正每個(gè)英雄皮膚不超過20個(gè),然后組合起來就可以了。
圖片地址搞定都就可以開始寫程序了:
第一步:獲取js字典
def path_js(url_js):
res_js = requests.get(url_js, verify = False).content
html_js = res_js.decode("gbk")
pat_js = r'"keys":(.*?),"data"'
enc = re.compile(pat_js)
list_js = enc.findall(html_js)
dict_js = eval(list_js[0])
return dict_js
第二步:從 js字典中提取到key值生成url列表
def path_url(dict_js):
pic_list = []
for key in dict_js:
for i in range(20):
xuhao = str(i)
if len(xuhao) == 1:
num_houxu = "00" + xuhao
elif len(xuhao) == 2:
num_houxu = "0" + xuhao
numStr = key+num_houxu
url = r'http://ossweb-img.qq.com/images/lol/web201310/skin/big'+numStr+'.jpg'
pic_list.append(url)
print(pic_list)
return pic_list
第三步:從 js字典中提取到value值生成name列表
def name_pic(dict_js, path):
list_filePath = []
for name in dict_js.values():
for i in range(20):
file_path = path + name + str(i) + '.jpg'
list_filePath.append(file_path)
return list_filePath
第四步:下載并保存數(shù)據(jù)
def writing(url_list, list_filePath):
try:
for i in range(len(url_list)):
res = requests.get(url_list[i], verify = False).content
with open(list_filePath[i], "wb") as f:
f.write(res)
except Exception as e:
print("下載圖片出錯(cuò),%s" %(e))
return False
執(zhí)行主程序:
if __name__ == '__main__':
url_js = r'http://lol.qq.com/biz/hero/champion.js'
path = r'./data/' #圖片存在的文件夾
dict_js = path_js(url_js)
url_list = path_url(dict_js)
list_filePath = name_pic(dict_js, path)
writing(url_list, list_filePath)
運(yùn)行后會在控制臺打印出每一張圖片的網(wǎng)址:
在文件夾中可以看到圖片已經(jīng)下載好:
小結(jié)
以上就是python爬取英雄聯(lián)盟皮膚的詳細(xì)內(nèi)容,更多python爬蟲實(shí)例請關(guān)注W3Cschool其它相關(guān)文章!