心理學專業(yè)的人學習爬蟲有很多困難，但是還是一點點艱難地學習，記錄下自己的學習成果。

學習爬蟲的目的：

（1）????獲得相應的資料，可以方便爬取文章、書籍、圖片、量表，由于研究的原因經(jīng)常去一些論壇，也可以批量獲取論壇的文字、圖片、視頻信息。

（2）????熟悉python的語法。

（3）????熟悉后端的一些結構。

相關工具以及版本：

（1）?python 3.6.3 Anaconda

（2）????requests庫。發(fā)送http請求

（3）????BeautifulSoup 4.4。解析代碼,能夠得到一個BeautifulSoup?的對象,并能按照標準的縮進格式的結構輸出。

（4）????操作系統(tǒng)：macOS 10.14

例子：爬取https://ibaotu.com/ui/15-91803-0-0-0-1.html的ui設計圖片。

截圖

結果

注：

1.????類似該例子的方法適合爬取html的內(nèi)容，并且是在網(wǎng)頁上直接呈現(xiàn)的內(nèi)容。

2.????不能獲取還沒有下拉加載的內(nèi)容。

3.?Requests的get請求使用了headers參數(shù)，這個是用來模擬瀏覽器的。Chrome瀏覽器，按F12，刷新，network-request hearders-user agent。