????????網(wǎng)頁(yè)可分為三大部分——HTML（網(wǎng)頁(yè)源代碼）、CSS（樣式）和JavaScript（交互、動(dòng)畫(huà)效果）。

? ? ? ? 爬蟲(chóng)就是獲取網(wǎng)頁(yè)并提取和保存信息的自動(dòng)化程序，主要可分為以下三個(gè)步驟：

? ? ? ? （1）獲取網(wǎng)頁(yè)源代碼（向網(wǎng)站服務(wù)器發(fā)送一個(gè)請(qǐng)求，返回的響應(yīng)體便是網(wǎng)頁(yè)源代碼）。用來(lái)請(qǐng)求源代碼可使用的庫(kù)：urllib、requests等；

? ? ? ? （2）提取信息（分析網(wǎng)頁(yè)源代碼，提取信息）。用來(lái)提取信息的方式有：正則表達(dá)式、BeautifulSoup等；

? ? ? ? （3）保存數(shù)據(jù)。用來(lái)保存數(shù)據(jù)的庫(kù)有MySQL、MongoDB等。

Attention，Please！

????????JavaScript渲染界面：現(xiàn)在網(wǎng)頁(yè)越來(lái)越多采用Ajax、前端模塊化工具來(lái)構(gòu)建，整個(gè)網(wǎng)頁(yè)可能都是由JavaScript渲染出來(lái)的，也就是說(shuō)原始的HTML代碼就是一個(gè)空殼；

? ? ? ? 在網(wǎng)頁(yè)查看頁(yè)面源代碼時(shí)，Elements選項(xiàng)卡中的源代碼可能經(jīng)過(guò)JavaScript操作而與原始請(qǐng)求不同，需要從Network選項(xiàng)卡部分查看原始請(qǐng)求得到的源碼。