這次爬取網(wǎng)頁(yè)花的時(shí)間比自己預(yù)期的長(zhǎng)了很多，回想了一下，主要的問(wèn)題在于：

1. 在獲取列表頁(yè)那里消耗了很多時(shí)間，最后發(fā)現(xiàn)是錯(cuò)誤的方向。只需要獲取列表頁(yè)就行了，而不是一步到位，遍歷了列表頁(yè)還一起把詳情頁(yè)的鏈接給得到了。這里應(yīng)該分開的。
2. 寫程序是一個(gè)結(jié)構(gòu)化很強(qiáng)的思考過(guò)程。在開始前應(yīng)該有一個(gè)大概的構(gòu)思，當(dāng)然也可以改，但是有個(gè)流程圖的話會(huì)思路清晰很多。
3. 另一個(gè)是爬取圖片那里，一直爬取的都是none，以為是網(wǎng)站反爬取了，還切換手機(jī)版，發(fā)現(xiàn)網(wǎng)址還不一樣，霎時(shí)傻了。后來(lái)發(fā)現(xiàn)原來(lái)是因?yàn)樵凇皺z查”時(shí)選擇的對(duì)象是加載在圖片上面的左右箭頭，而不是圖片，這樣獲取其src屬性肯定是空 的。還是得更細(xì)心才行，這些都得好好留意對(duì)不對(duì)的，并不是有個(gè)鏈接就是圖片。
4. 判斷性別那里自己寫的不好，對(duì)比一下,發(fā)現(xiàn)可以直接選擇class的，有想過(guò)選class參數(shù)的，用get方法就可以了，但是沒想到。。。另外，自己選擇的if…else結(jié)構(gòu)并不合理，因?yàn)橛形催x擇性別的，而在爬取時(shí)就變成了男性，像答案的用上elseif就很好了。

def get_lorder_sex(class_name):
    if class_name == ['member_boy_ico']:
        return '男'
    elif class_name == ['member_girl_ico']:
        return '女'

"sex": get_lorder_sex(sex.get("class"))

代碼：

from bs4 import BeautifulSoup
import requests

urls=("http://bj.xiaozhu.com/search-duanzufang-p{}-0/".format(str(i)) for i in range(1,13))

def get_link(url):
    wb_data=requests.get(url)
    soup=BeautifulSoup(wb_data.text,'lxml')
    links=soup.select('#page_list > ul > li > a')
    for link in links:
        href=link.get('href')
        get_detail_info(href)

def get_detail_info(url,data=None):
    wb_data =requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')

    titles=soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4')
    adds  =soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span')
    prices=soup.select('#pricePart > div.day_l > span')
    imgs  =soup.select('#curBigImage')
    owners=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img')
    males =soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div.member_ico1')
    names =soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
    if males != []:
        members = '女'
    else:
        members = '男'

    for title,add,price,img,owner,member,name in zip(titles,adds,prices,imgs,owners,members,names):
        data = {
            'title':title.get_text(),
            'add'  :add.get_text(),
            'price':price.get_text(),
            'img'  :img.get('src'),
            'owner':owner.get('src'),
            'member':str(members),
            'name' :name.get_text(),
        }
        print(data)

for single_url in urls:
     get_link(single_url)