我們已經(jīng)成功得到了title，但是再仔細(xì)看看，還能發(fā)現(xiàn)更簡(jiǎn)便的方法。
Gumtree為標(biāo)簽添加了屬性，就是itemprop=name。所以XPath可以簡(jiǎn)化為//*[@itemprop="name"][1]/text()。在XPath中，切記數(shù)組是從1開(kāi)始的，所以這里[]里面是1。
選擇itemprop="name"這個(gè)屬性，是因?yàn)镚umtree用這個(gè)屬性命名了許多其他的內(nèi)容，比如“You may also like”，用數(shù)組序號(hào)提取會(huì)很方便。
接下來(lái)看價(jià)格。價(jià)格在HTML中的位置如下：
<strong class="ad-price txt-xlarge txt-emphasis" itemprop="price">￡334.39pw</strong>
我們又看到了itemprop="name"這個(gè)屬性，XPath表達(dá)式為//*[@itemprop="price"][1]/text()。驗(yàn)證一下：
>>> response.xpath('//*[@itemprop="price"][1]/text()').extract()[u'\xa3334.39pw']
注意Unicode字符（￡符號(hào)）和價(jià)格350.00pw。這說(shuō)明要對(duì)數(shù)據(jù)進(jìn)行清理。在這個(gè)例子中，我們用正則表達(dá)式提取數(shù)字和小數(shù)點(diǎn)。使用正則方法如下：
>>> response.xpath('//*[@itemprop="price"][1]/text()').re('[.0-9]+')[u'334.39']
假如這就是我們要提取的所有信息，整理如下：
目標(biāo)XPath表達(dá)式
title//*[@itemprop="name"][1]/text()
Example value: [u'set unique family well']
Price//*[@itemprop="price"][1]/text()
Example value (using re()):[u'334.39']
description//*[@itemprop="description"][1]/text()
Example value: [u'website court warehouse\r\npool...']
Address//*[@itemtype="http://schema.org/Place"][1]/text()
Example value: [u'Angel, London']
Image_URL//*[@itemprop="image"][1]/@src
Example value: [u'../images/i01.jpg']
這是我們的第一段代碼，要注意Python中是使用空格縮進(jìn)的。每個(gè)字段名之前都有四個(gè)空格或是一個(gè)tab。如果一行有四個(gè)空格，另一行有三個(gè)空格，就會(huì)報(bào)語(yǔ)法錯(cuò)誤。如果一行是四個(gè)空格，另一行是一個(gè)tab，也會(huì)報(bào)錯(cuò)?？崭穹付诉@些項(xiàng)目是在PropertiesItem下面的。其他語(yǔ)言有的用花括號(hào){}，有的用begin – end，Python則使用空格。
import scrapy?
class BasicSpider(scrapy.Spider):
? ? name ="basic"
? ? allowed_domains = ["web"]
? ? ?start_URL = (
'http://www.web/',?
?)
def parse(self, response):
? ? ?pass
import命令可以讓我們使用Scrapy框架。然后定義了一個(gè)類(lèi)BasicSpider，繼承自scrapy.Spider。繼承的意思是，雖然我們沒(méi)寫(xiě)任何代碼，這個(gè)類(lèi)已經(jīng)繼承了Scrapy框架中的類(lèi)Spider的許多特性。這允許我們只需寫(xiě)幾行代碼，就可以有一個(gè)功能完整的爬蟲(chóng)。然后我們看到了一些爬蟲(chóng)的參數(shù)，比如名字和抓取域字段名。最后，我們定義了一個(gè)空函數(shù)parse()，它有兩個(gè)參數(shù)self和response。通過(guò)self，可以使用爬蟲(chóng)一些有趣的功能。response看起來(lái)很熟悉，它就是我們?cè)赟crapy shell中見(jiàn)到的響應(yīng)。
這是從這個(gè)頁(yè)面抓取的PropertiesItem。這很好，因?yàn)镾crapy就是圍繞Items的概念構(gòu)建的，這意味著我們可以用pipelines填充豐富項(xiàng)目，或是用“Feed export”導(dǎo)出保存到不同的格式和位置。
保存到文件
試運(yùn)行下面：
不用我們寫(xiě)任何代碼，我們就可以用這些格式進(jìn)行存儲(chǔ)。Scrapy可以自動(dòng)識(shí)別輸出文件的后綴名，并進(jìn)行輸出。這段代碼中涵蓋了一些常用的格式。CSV和XML文件很流行，因?yàn)榭梢员籈xcel直接打開(kāi)。JSON文件很流行是因?yàn)樗拈_(kāi)放性和與JavaScript的密切關(guān)系。JSON和JSON Line格式的區(qū)別是.json文件是在一個(gè)大數(shù)組中存儲(chǔ)JSON對(duì)象。這意味著如果你有一個(gè)1GB的文件，你可能必須現(xiàn)在內(nèi)存中存儲(chǔ)，然后才能傳給解析器。相對(duì)的，.jl文件每行都有一個(gè)JSON對(duì)象，所以讀取效率更高。
不在文件系統(tǒng)中存儲(chǔ)生成的文件也很麻煩。利用下面例子的代碼，你可以讓Scrapy自動(dòng)上傳文件到FTP或亞馬遜的S3 bucket。
$ scrapy crawl basic -o"ftp://user:pass@ftp.scrapybook.com/items.json "
$ scrapy crawl basic -o"s3://aws_key:aws_secret@scrapybook/items.json"
注意，證書(shū)和URL必須按照主機(jī)和S3更新，才能順利運(yùn)行。
另一個(gè)要注意的是，如果你現(xiàn)在使用scrapy parse，它會(huì)向你顯示被抓取的項(xiàng)目和抓取中新的請(qǐng)求：
當(dāng)出現(xiàn)意外結(jié)果時(shí)，scrapy parse可以幫你進(jìn)行debug，你會(huì)更感嘆它的強(qiáng)大。
清洗——項(xiàng)目加載器和雜務(wù)字段
恭喜你，你已經(jīng)創(chuàng)建成功一個(gè)簡(jiǎn)單爬蟲(chóng)了！讓我們讓它看起來(lái)更專(zhuān)業(yè)些。
我們使用一個(gè)功能類(lèi)，ItemLoader，以取代看起來(lái)雜亂的extract()和xpath()。我們的parse()進(jìn)行如下變化：
defparse(self, response):
l = ItemLoader(item=PropertiesItem(), response=response)? ??
l.add_xpath('title','//*[@itemprop="name"][1]/text()')? ??
l.add_xpath('price','.//*[@itemprop="price"]''[1]/text()', re='[,.0-9]+')? ??
l.add_xpath('description','//*[@itemprop="description"]''[1]/text()')? ??
l.add_xpath('address','//*[@itemtype=''"http://schema.org/Place"][1]/text()')? ?
l.add_xpath('image_URL','//*[@itemprop="image"][1]/@src')
returnl.load_item()
是不是看起來(lái)好多了？事實(shí)上，它可不是看起來(lái)漂亮那么簡(jiǎn)單。它指出了我們現(xiàn)在要干什么，并且后面的加載項(xiàng)很清晰。這提高了代碼的可維護(hù)性和自文檔化。（自文檔化，self-documenting，是說(shuō)代碼的可讀性高，可以像文檔文件一樣閱讀）
