網(wǎng)絡(luò)爬蟲，可以理解成在互聯(lián)網(wǎng)上面爬行的一只蜘蛛，而互聯(lián)網(wǎng)就像一張大網(wǎng)一樣，爬蟲可以在這張大網(wǎng)上面爬來(lái)爬去，如果有遇到自己喜歡的獵物（資源）就會(huì)把它抓取下來(lái)。一些不常用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲，那么，python為什么叫爬蟲?它可以用來(lái)做什么呢?
為什么把python叫做爬蟲？
作為一門編程語(yǔ)言而言，Python是純粹的自由軟件，以簡(jiǎn)潔清晰的語(yǔ)法和強(qiáng)制使用空白符進(jìn)行語(yǔ)句縮進(jìn)的特點(diǎn)從而深受程序員的喜愛。舉一個(gè)例子：完成一個(gè)任務(wù)的話，c語(yǔ)言一共要寫1000行代碼，java要寫100行，而python則只需要寫20行的代碼。使用python來(lái)完成編程任務(wù)的話編寫的代碼量更少，代碼簡(jiǎn)潔簡(jiǎn)短可讀性更強(qiáng)，一個(gè)團(tuán)隊(duì)進(jìn)行開發(fā)的時(shí)候讀別人的代碼會(huì)更快，開發(fā)效率會(huì)更高，使工作變得更加高效。
這是一門非常適合開發(fā)網(wǎng)絡(luò)爬蟲的編程語(yǔ)言，而且相比于其他靜態(tài)編程語(yǔ)言，Python抓取網(wǎng)頁(yè)文檔的接口更簡(jiǎn)潔;相比于其他動(dòng)態(tài)腳本語(yǔ)言，Python的urllib2包提供了較為完整的訪問(wèn)網(wǎng)頁(yè)文檔的API。此外，python中有優(yōu)秀的第三方包可以高效實(shí)現(xiàn)網(wǎng)頁(yè)抓取，并可用極短的代碼完成網(wǎng)頁(yè)的標(biāo)簽過(guò)濾功能。
python爬蟲的構(gòu)架組成如下圖：
1. URL管理器：管理待爬取的url集合和已爬取的url集合，傳送待爬取的url給網(wǎng)頁(yè)下載器;
2. 網(wǎng)頁(yè)下載器：爬取url對(duì)應(yīng)的網(wǎng)頁(yè)，存儲(chǔ)成字符串，傳送給網(wǎng)頁(yè)解析器;
3. 網(wǎng)頁(yè)解析器：解析出有價(jià)值的數(shù)據(jù)，存儲(chǔ)下來(lái)，同時(shí)補(bǔ)充url到URL管理器。
python可以用來(lái)做什么？
1、人工智能
現(xiàn)在的人工智能非常的火爆,各種培訓(xùn)班都在瘋狂打廣告招生.機(jī)器學(xué)習(xí)，尤其是現(xiàn)在火爆的深度學(xué)習(xí)，其工具框架大都提供了Python接口。
Python在科學(xué)計(jì)算領(lǐng)域一直有著較好的聲譽(yù)，其簡(jiǎn)潔清晰的語(yǔ)法以及豐富的計(jì)算工具，深受此領(lǐng)域開發(fā)者喜愛。說(shuō)白了就是因?yàn)镻ython簡(jiǎn)單易學(xué)框架豐富。
2、數(shù)據(jù)分析
一般我們用爬蟲爬到了大量的數(shù)據(jù)之后，我們需要處理數(shù)據(jù)用來(lái)分析，不然爬蟲白爬了，我們最終的目的就是分析數(shù)據(jù)，在這方面 關(guān)于數(shù)據(jù)分析的庫(kù)也是非常的豐富的，各種圖形分析圖等 都可以做出來(lái)。
也是非常的方便，其中諸如Seaborn這樣的可視化庫(kù)，能夠僅僅使用一兩行就對(duì)數(shù)據(jù)進(jìn)行繪圖，而利用Pandas和numpy、scipy則可以簡(jiǎn)單地對(duì)大量數(shù)據(jù)進(jìn)行篩選、回歸等計(jì)算。而后續(xù)復(fù)雜計(jì)算中，對(duì)接機(jī)器學(xué)習(xí)相關(guān)算法，或者提供Web訪問(wèn)接口，或是實(shí)現(xiàn)遠(yuǎn)程調(diào)用接口，都非常簡(jiǎn)單。
3、web應(yīng)用開發(fā)
在國(guó)內(nèi)，豆瓣一開始就使用Python作為web開發(fā)基礎(chǔ)語(yǔ)言，知乎的整個(gè)架構(gòu)也是基于Python語(yǔ)言，這使得web開發(fā)這塊在國(guó)內(nèi)發(fā)展的很不錯(cuò)。
以上便是對(duì)python為什么叫爬蟲,它可以用來(lái)做什么的簡(jiǎn)單介紹，如果你一名小白，想學(xué)習(xí)python入門基礎(chǔ)，推薦你閱讀以下幾篇文章
python入門基礎(chǔ)學(xué)習(xí) 超適合小白學(xué)習(xí)的教程
Python和C語(yǔ)言先學(xué)哪個(gè)好?哪個(gè)更有前景?
2020年10月編程語(yǔ)言排行榜：Python 即將超越 Java
