這里寫個例子，公司的一個大神之前爬過1688上面的物流信息，這里也來試一下，順便分享下學習過程。

背景介紹

目標網(wǎng)頁：https://56.1688.com/order/price/estimate_price.htm
目的：抓取網(wǎng)站上所有的線路信息，保存到文件或數(shù)據(jù)庫中。

實踐步驟

先觀察下網(wǎng)站的特征，隨便查詢一下看看，主要看看URL是怎么傳遞參數(shù)的，通過FireBug，下面幾個參數(shù)是不為空的

圖片.png

通過查看網(wǎng)頁源碼，發(fā)現(xiàn)上面的參數(shù)，就是發(fā)貨地和收獲地的省份、城市、區(qū)縣的編碼

既然我們要獲取所有的線路數(shù)據(jù)，那第一步就是獲取這里所有的發(fā)貨地、收貨地信息

一開始以為這個編碼是1688上自定義的，后來查了一下，發(fā)現(xiàn)是官方的編碼，這也是為啥，前面會寫一篇《最新行政區(qū)信息獲取》

所以，這里最方便的辦法就是直接使用官方的編碼，第一步就解決了；
但是前面呢，既然要學習爬蟲，就用爬蟲來試試，正好前面學了selenium，這里就熟練掌握一下吧。
實踐的時候呢，還是遇到了一些問題
比如：默認省份信息是隱藏的（display: none）,城市和區(qū)縣信息的動態(tài)的切換的

這個應該使用JS來控制的，但是一直沒找到是哪段JS
還好selenium中可以模擬單擊事件，很方便
下面是代碼，該有的注釋都在，效率比較差，也就3000多條記錄，還好跑一次就可以了

# -*- coding: utf-8 -*-
"""
Created on Mon Aug 14 21:20:56 2017

@author: yuguiyang
"""


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

#打開瀏覽器
browser = webdriver.Firefox()
#設置等待時長，最長等待10s
wait = WebDriverWait(browser,10)

#單擊省份標簽
def click_province():
    #這里不點擊的話，下面可以通過屬性獲取省份名稱，但是直接使用text是不行的
    li_labels = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select ul.h li span.inner')))
    li_labels[1].click()

#單擊城市標簽    
def click_city():
    li_labels = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select ul.h li span.inner')))
    li_labels[2].click()
        
def main():
 
    #打開URL
    browser.get('https://56.1688.com/order/price/estimate_price.htm')
    
    #輸出瀏覽器標題
    print('browser title: ',browser.title)
    
    #單擊發(fā)貨輸入框，顯示城市選擇的標簽
    input_start = wait.until(EC.presence_of_element_located((By.ID,'source-area')))
    input_start.click()
    
    #單擊省份標簽
    click_province()
    
   
    #區(qū)域信息
    div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))
    
    #只使用省份
    li_provinces = div_tabs[1].find_elements(By.CSS_SELECTOR ,'a.panel-item')
    
    file = open('1688_line.txt','w')
    
    #遍歷每一個省份
    for pro in li_provinces:
        #單擊當前的省份，頁面會跳轉到該省份的城市列表
        pro.click()
        
        #獲取城市信息
        div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))
        li_citys = div_tabs[2].find_elements(By.CSS_SELECTOR ,'a.panel-item')

        data = []
        #遍歷每一個城市
        for city in li_citys:
            #單擊當前城市標簽，頁面會跳轉到該城市下的區(qū)縣列表
            city.click()
            
            #獲取區(qū)縣信息
            div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))
            li_areas = div_tabs[3].find_elements(By.CSS_SELECTOR ,'a.panel-item')
            
            
            #遍歷每一個區(qū)縣
            for area in li_areas:
                data.append(pro.get_attribute('code')+','+pro.get_attribute('panel-item')
                            +','+city.get_attribute('code')+','+city.get_attribute('panel-item')
                            +','+area.get_attribute('code')+','+area.get_attribute('panel-item')
                            +'\n'
                            )
            
            #跳轉回到城市標簽，為了遍歷下一個城市
            click_city()
        
        #將數(shù)據(jù)寫入文件
        file.writelines(data)
        #跳轉回省份標簽，為了遍歷下一個省份
        click_province()
        
        
    file.close()
    browser.quit()


if __name__=='__main__':
    main()