實(shí)戰(zhàn)計(jì)劃0430-石頭的練習(xí)作業(yè)

練習(xí)的要求

練習(xí)要求

效果如下：

抓取的圖片

實(shí)現(xiàn)代碼：

__author__ = 'daijielei'


#requests用于抓取html頁(yè)面，BeautifulSoup用于html頁(yè)面的處理，urllib.request用于將圖片的url連接保存到本地
from bs4 import BeautifulSoup
import requests
import time
import urllib.request



#header這邊并不實(shí)際需要
#url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'
}


#saveImgFromUrl將圖片從URL上保存到本地
def saveImgFromUrl(url):
    filename = "image/"+str(url).replace("http://data.whicdn.com/","").replace("/","")#URL地址格式高度相似，故而用這種簡(jiǎn)單方式
    urllib.request.urlretrieve(url,filename)#該函數(shù)提供URL和本地地址即可保存
    print("save:"+filename+"    from:"+url)


#getPageInfo用于根據(jù)從動(dòng)態(tài)加載的頁(yè)面中獲取圖片的地址信息
#測(cè)試用url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page=1'
def getPageInfo(url):
    webData = requests.get(url,headers = header)
    soup = BeautifulSoup(webData.text,'lxml')
    imgs = soup.select('a > img[class="entry_thumbnail"]')
    time.sleep(2)
    for img in imgs:
        imgUrl = img.get('src')
        saveImgFromUrl(imgUrl)

#getPageFromNum在指定頁(yè)碼范圍調(diào)用getPageInfo抓取圖片信息
def getPageFromNum(start=0,end=5):
    url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
    for i in range(start,end):
        getPageInfo(url+str(i))



#入口
if __name__ == '__main__':
    getPageFromNum(0,1)

思考、筆記、總結(jié)：

1、實(shí)現(xiàn)的總體思路比較簡(jiǎn)單，三步走，分了三個(gè)函數(shù)去實(shí)現(xiàn)

1、獲取頁(yè)碼范圍內(nèi)的信息
def getPageFromNum(start=0,end=5):

2、從對(duì)應(yīng)的url里提取圖像的地址
def getPageInfo(url):

3、從圖片url的地址提取圖片并保存到本地
def saveImgFromUrl(url):

2、和之前的課程相比，這個(gè)練習(xí)有不同的地方就是需要將圖片從地址上抓取下來(lái)，其實(shí)實(shí)現(xiàn)并不難，有幾個(gè)小地方要注意一下

a、用的是urllib.request.urlretrieve來(lái)下載文件，第一個(gè)參數(shù)是要下載的圖像的url，第二個(gè)參數(shù)是保存到本地的路徑
b、因?yàn)閡rlhttp://data.whicdn.com/images/238487192/superthumb.jpg的最后的文件名都是相同的，所以不能有split分出最后一個(gè)來(lái)作為文件名，故而做了些簡(jiǎn)單操作來(lái)轉(zhuǎn)換保存的文件名


def saveImgFromUrl(url):
    filename = "image/"+str(url).replace("http://data.whicdn.com/","").replace("/","")#URL地址格式高度相似，故而用這種簡(jiǎn)單方式
    urllib.request.urlretrieve(url,filename)#該函數(shù)提供URL和本地地址即可保存
    print("save:"+filename+"    from:"+url)