本文爬取了在淘寶首頁上輸入文胸后彈出的數(shù)據(jù),因為淘寶的商品都是通過JS渲染出來的動態(tài)數(shù)據(jù),所以本文用到了selenium,但是用的過程中發(fā)現(xiàn)了selenium的局限性,會在下文中提到,當(dāng)然也可能是本人學(xué)藝不精,對selenium這個神器了解不足,先說下思路,首先是進入文胸搜索的首頁,然后爬取所有商品鏈接,最后用多進程提取每個商品的信息,再寫進文件

首先導(dǎo)入用到的庫,本人是想到用哪個再導(dǎo)入哪個的

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import  time
import  re
from  bs4 import BeautifulSoup
import requests
import lxml
from lxml import html
import csv
header={
'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36'
}這里是偽裝成chrome瀏覽器
from multiprocessing.dummy import Pool
all_links=[]

all_products =[]

Paste_Image.png

def get_all_links(url):這個函數(shù)是提取淘寶首頁每個商品的鏈接的
    all_links = []
    driver = webdriver.Chrome()讓瀏覽器模擬人工操作,提取動態(tài)數(shù)據(jù)
    driver.get(url)
    driver.execute_script('window.scrollBy(0,3000)')
    time.sleep(2)
    driver.execute_script('window.scrollBy(0,5000)')讓屏幕滾動下面,確保找到所有商品數(shù)據(jù)
    time.sleep(2)
    data = driver.find_element_by_class_name('m-itemlist')如圖,這里匹配到了所以商品所在的div
    time.sleep(2)
    we_data = driver.page_source
    #print(we_data)
    soup = BeautifulSoup(we_data,'lxml')將獲得的頁面用Beautiful解釋,不過selenium也有字體的方法提取,
    不過本人習(xí)慣用find函數(shù)提取數(shù)據(jù),于是就沒有采取selenium的提取方法
    links =soup.find('div',{'class':'m-itemlist'}).findAll('a',href=re.compile('^(//detail)).*(0)$'))
    這里用了findAll函數(shù)搭配正則,因為鏈接太復(fù)雜,用了xpath實在寫不出
    看了看,商品鏈接都是//detail開頭的,這樣就抓出了第一頁所有包含鏈接的a標(biāo)簽
    如圖,定位到所有商品的div里面,然后用正則匹配每個鏈接

Paste_Image.png

    #print(links)
    for link in links:
        if 'href' in link.attrs:
            #print(link.attrs['href'])
            all_links.append(link.attrs['href'])千萬記得,我們還要將鏈接提取出來

    print(len(all_links),all_links)
    return all_links返回所以鏈接

def get_data(url):
    each_products={}構(gòu)造一個空字典.因為每個商品都是由產(chǎn)地,標(biāo)題,價格等組成,所以用字典保存商品信息是最理想的
    link = 'http:'+url抓取出來的鏈接前面是沒有http:字符的,所以在手動添加,這樣才能打開鏈接
    #print(link)

    each_products['link']=link為字典添加數(shù)據(jù),下面同理
    all_data = requests.get(link,headers=header).content
    time.sleep(2)
    
    selector = lxml.html.document_fromstring(all_data)用lxml庫
    #print(selector)
    title = selector.xpath('//div[@class="tb-detail-hd"]/h1/text()')[0].replace('\t','').replace('\r','').replace('\n','')
     清理數(shù)據(jù),
     標(biāo)題很多換行空格符號,如圖

    #print(title)
    each_products['title']=title為字典添加數(shù)據(jù)


    price = selector.xpath('//div[@class="tm-promo-price"]/span/text()')
   <>首先這里說明一下,這里調(diào)節(jié)了一個小時左右,
    反復(fù)確認這個xpath沒有錯,最后都沒有提取出價格,最后心灰意冷,看了看源代碼,發(fā)現(xiàn)每個頁面的價格也是JS動態(tài)數(shù)據(jù)加載進去的.....
    心中一萬只草擬馬奔騰而過,只能感嘆現(xiàn)在的實力抓不了,因為如果再在這里用selenium的我電腦會死的,因 為一頁就有50左右的鏈接,我電腦扛不住的,
    所以感覺面對這種類型的網(wǎng)頁selenium就很有局限性,也希望有大神教我解決怎么抓取加個這個問題,這個坑只能以后來填了
    #print(price)
    each_products['price']=price
    shop_name= selector.xpath('//div[@class="slogo"]/a/strong/text()')[0]
    #print(shop_name)
    each_products['shop_name']=shop_name
    area = selector.xpath('//li[@class="locus"]/div[@class="right"]/text()')[0].replace('\n','').replace('                ','')
    #print(area)
    each_products['area']=area
    all_products.append(each_products)這樣就構(gòu)造了一個由字典組成的列表,也方便寫進csv格式的文件
打印出來的字典是這樣的

Paste_Image.png

def writedata(all_products):
    with open('taobao_bra','w',encoding="UTF-8",newline='')as f:
        writer = csv.DictWriter(f,fieldnames=['title','area','shop_name','price','link'])因為是字典組成的列表,且key值一樣,
        所以可以用DictWriter方法將文件按一定的key值排序?qū)戇M文件
        writer.writeheader()
        for i in all_products:
            #print(i)
            writer.writerow(i)
if __name__ == '__main__':

    url = 'https://s.taobao.com/search?q=%E6%96%87%E8%83%B8'淘寶搜索文胸的首頁
    #print(url)
    time.sleep(1)
    links=set(get_all_links(url))獲得所有連接
    pool=Pool()
    pool.map(get_data,links)這里是提取數(shù)據(jù),這里函數(shù)記得不用寫括號
    print(all_products)
    writedata(all_products)寫進文件

最后效果圖,每個商品的鏈接是還可以用split簡化的,也挺簡單,這里就不提,希望有大神告訴我怎么提取價格....

Paste_Image.png