前言：

這篇文章是真正的干貨，我會(huì)盡力的把自己所要表達(dá)的東西表達(dá)出來。這次所完成的小程序缺點(diǎn)第一，不符合python面向?qū)ο蟮乃枷搿５诙?，東西沒有做到函數(shù)化，而且挺多參數(shù)都是寫死的。本人也是做中學(xué)，下次再寫會(huì)盡力讓它完美一些。

目標(biāo)：

本人最近新有了一個(gè)ipad mini，體會(huì)到了蘋果公司科技的力量，怪不得果粉這么多。（ipad用wps看pdf書籍真的好用，一般人我不告訴他。不過希望大家還是買正版書，紙質(zhì)書真的比電子的強(qiáng)）。所以想獲得二手平板的信息，去吧就決定是你了：

58同城：http://bj.58.com/pbdn/0/pn1/

58

我們要爬取這個(gè)頁面的所有個(gè)人的信息

就是這種↑

點(diǎn)進(jìn)去

隱約看到了賣家的臉

我們要：標(biāo)題，價(jià)格，時(shí)間，地點(diǎn)，商家還是個(gè)人。

為了完成這個(gè)小工程，我們需要引入幾個(gè)第三方庫(kù)：lxml，requests，BeautifulSoup。這幾個(gè)庫(kù)的用法請(qǐng)自行查閱官方文檔，首先在最開始import所要用的庫(kù)

from bs4 import BeautifulSoup

import requests

然后通過觀察頁面網(wǎng)址的變化:

廣告真多

聰明的你一定發(fā)現(xiàn)了，商家和個(gè)人的區(qū)別就在于網(wǎng)址的一處變化，商家為http://bj.58.com/pbdn/1/個(gè)人為http://bj.58.com/pbdn/0/，所以寫一個(gè)簡(jiǎn)單的函數(shù)：

def who_sell(who_sells=0):

??? list_view ='http://bj.58.com/pbdn/{}/pn1/'.format(str(who_sells))

??? return list_view

通過你改變函數(shù)參數(shù)，返回一個(gè)字符串，這里參數(shù)0就是個(gè)人1是商家，0為默認(rèn)參數(shù)。接下來就是選出這個(gè)頁面中你想要的信息的連接：

main_url = who_sell(0)???????????????????????????????????????????????????? ?? (1)

web_data = requests.get(main_url)????????????????????????????????????? (2)

soup = BeautifulSoup(web_data.text,'lxml')?????????????? ?? ??????? (3)

select = soup.select('td.t a.t')????????????????????????????????????? ? ?????? (4)

leimu = who_sell(0)[:22]????????????????????????????????????????????? ? ????? (5)

print(leimu)???????????????????????????????????????????????????????????????????????? (6)

page_link = []????????????????????????????????????????????????????????????????????? (7)

for href in select:

? ? page_link.append(href.get('href'))? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? (8)

（1）：我們先通過調(diào)用函數(shù)選中個(gè)人，返回一個(gè)網(wǎng)址，復(fù)制給main_url
（2）：通過向這個(gè)選中的網(wǎng)址發(fā)送request請(qǐng)求，把得到的結(jié)果賦值給web_data
（3）：對(duì)web_data的文本通過bs進(jìn)行解析
（4）：通過select函數(shù)選出你想要的東西，而‘td.t a.t’這個(gè)的來源先請(qǐng)看圖：

來，檢查一下

在你想要看的元素上面右鍵，檢查:

是不是一臉蒙b

學(xué)過網(wǎng)頁的小伙伴很快就能明白，這其中的奧秘，如果一臉霧水的小伙伴就可以看一下HTML5以及css的知識(shí)，這里個(gè)人推一下w3school ?？赐赀@個(gè)，這里的東西就會(huì)很輕松讀懂。觀察之后你會(huì)發(fā)現(xiàn)，我們所需要的東西在一個(gè)<td class="t"><a href="所要去的網(wǎng)址" class="t"></a></td>之中，我們要把href提取出來，所以我們select之中的差數(shù)即為‘td.t a.t’。這里的點(diǎn)可以理解為td的標(biāo)簽下 class=‘t’。通過這個(gè)唯一標(biāo)識(shí)，我們就能get到想要的東西
（5）：返回類目，也就是我們爬取的根網(wǎng)頁，這個(gè)并不是我們想要的東西，只是方便將來我看爬取的東西是什么。用了切片切取了網(wǎng)頁的前22位。（6）：打印出來類目
（7）：創(chuàng)建一個(gè)list，用來存放網(wǎng)址
（8）：把獲取的網(wǎng)址添加到list中去

現(xiàn)在我們已經(jīng)有了具體的網(wǎng)址，接下來我們要爬取具體信息了：
for url inpage_link:

??? inf = requests.get(url)

??? inf_soup = BeautifulSoup(inf.text,'lxml')

??? titles = inf_soup.select('div.col_sub.mainTitle > h1')

??? times = inf_soup.select('li.time')

??? prices = inf_soup.select('div.su_con > span.price')

??? places = inf_soup.select('div.su_con > span.c_25d')

??? if titles==[]:

??????? title=['null']

??? else:

?? ? ?? title=titles[0].get_text()

??? if times == []:

??????? time = ['空']

??? else:

??????? time = times[0].text

??? if prices == []:

??????? price = ['null']

??? else:

??????? price= prices[0].text

??? if places == []:

??????? place = ['null']

??? else:

??????? place = places[0].text[1:3]+places[0].text[-3:-1]

??? data = {

??? 'title': title,

??? 'time': time,

??? 'price': price,

??? 'places': place,

??? '類型':'個(gè)人'if(main_url[22:23] =='0')else'商家'

?}

??? if(title!=['null']):

?? ? ?? print(data)

for循環(huán)的意思即為，遍歷list中所有的網(wǎng)址。
inf = requests.get(url)

inf_soup = BeautifulSoup(inf.text,'lxml')

titles = inf_soup.select('div.col_sub.mainTitle > h1')

times = inf_soup.select('li.time')

prices = inf_soup.select('div.su_con > span.price')

places = inf_soup.select('div.su_con > span.c_25d')

同get到href的方法，右鍵檢查

3000，好貴

以價(jià)格為例，在class='su_con'的子標(biāo)簽中他的clss='price c_f50',我們根據(jù)這個(gè)就可以提取出來所想要的信息。
if titles==[]:

title=['null']

else:

title=titles[0].get_text()

if times == []:

time = ['空']

else:

time = times[0].text

if prices == []:

price = ['null']

else:

price= prices[0].text

if places == []:

place = ['null']

else:

place = places[0].text[1:3]+places[0].text[-3:-1]
在這些if語句中，如果賣家沒填這些信息，我們把他設(shè)為空，如果填了我們就用.text方法把兩個(gè)標(biāo)簽之間夾的信息提取出來，例如price里的3000。這里的地址使用了切片因?yàn)樘崛〕鰜淼男畔⒑写罅康膿Q行符。所以切取想要的部分，并用加號(hào)連接。
data = {

'title': title,

'time': time,

'price': price,

'places': place,

'類型':'個(gè)人'if(main_url[22:23] =='0')else'商家'

}

if(title!=['null']):

??? print(data)
把提取的信息存放到一個(gè)叫data的字典里。這里有一個(gè)問題，直接輸出字典會(huì)出現(xiàn)全空的網(wǎng)頁，所以這里通過過濾title的方法來過濾掉沒用的信息。我們可以看一下結(jié)果：

是不是感覺amazing

最后：

就是這樣~是不是感覺還可以。這只是一個(gè)簡(jiǎn)單的版本，有興趣的小伙伴可以把整個(gè)北京的信息都爬取下來，可以做一些簡(jiǎn)單的數(shù)據(jù)處理。只需要在加一個(gè)循環(huán)即可。

可以加博主qq：844255371 咱們共同研究，記得附上備注簡(jiǎn)書。

博主臉皮中等厚度，記得文明探討

最后的最后，附上github，ipad.py就是源代碼。github?