說(shuō)起程序的bug，這是一個(gè)讓人崩潰、焦頭爛額，一萬(wàn)句“XXX”在心中奔騰的詞語(yǔ)
就說(shuō)起最近剛從老家上來(lái)，狀態(tài)迷糊中
雖然接觸爬蟲(chóng)不是很久，看了一些基礎(chǔ)書籍，實(shí)戰(zhàn)爬了幾個(gè)網(wǎng)站，心想應(yīng)對(duì)簡(jiǎn)單的還是處處有余
然而這倆天啪啪啪打我的臉，好了，廢話多了，看正題
回一趟老家：應(yīng)老人們的要求，做一個(gè)七星彩數(shù)據(jù)分析和數(shù)據(jù)模型訓(xùn)練，預(yù)測(cè)下一期中獎(jiǎng)號(hào)碼（太想中大獎(jiǎng)了，也想讓他們死心，哈哈）
目標(biāo)：爬取七星彩的過(guò)去的期數(shù)、中獎(jiǎng)號(hào)碼，并存儲(chǔ)在Excel中
爬取網(wǎng)頁(yè)： 七星彩中獎(jiǎng)號(hào)碼查詢
使用工具：python使用的IDE--pycharm
第三方庫(kù)： requests、BeautifulSoup、time、xlwt
爬取整體思路：
1、先找到要取得網(wǎng)頁(yè)（搜一下七星彩中獎(jiǎng)號(hào)碼，確定哪一個(gè)網(wǎng)頁(yè)數(shù)據(jù)齊全并爬取容易）
2、觀察要爬取的網(wǎng)頁(yè)并解析，確定要提取的數(shù)據(jù)（用谷歌瀏覽器瀏覽，按下F12解析網(wǎng)頁(yè)）
3，構(gòu)造爬取的網(wǎng)頁(yè)結(jié)構(gòu)，寫代碼
4、爬取數(shù)據(jù)并將數(shù)據(jù)存儲(chǔ)在Excel表中
一、打開(kāi)爬取網(wǎng)頁(yè)，觀察網(wǎng)頁(yè)結(jié)構(gòu)
哈哈，這個(gè)爬取數(shù)據(jù)也太簡(jiǎn)單了（只要有一點(diǎn)爬蟲(chóng)基礎(chǔ)的人都會(huì)吧）
于是我選擇了最簡(jiǎn)單的BeautifulSoup爬取，只要先找標(biāo)識(shí)tr,再找td....嗯,nice
代碼如下
二、寫了簡(jiǎn)單的爬蟲(chóng)，然后打印一下內(nèi)容觀察
import requests
from bs4 import BeautifulSoup
import time
headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
for k in range(1,74):
url = 'http://tubiao.17mcp.com/Qxc/Haoma.aspx?page={}'.format(str(k))
res = requests.get(url, headers=headers,timeout=30)
soup = BeautifulSoup(res.text, 'lxml')
i = 0
for item in soup.select('tr')[1:-1]:
qihao = item.select('td strong')[i].text
onewei = item.select('td div')[i].text
twowei = item.select('td div')[i+1].text
threewei = item.select('td div')[i+2].text
fourwei = item.select('td div')[i+3].text
fivewei = item.select('td div')[i+4].text
sixwei = item.select('td div')[i+5].text
sevenwei = item.select('td div')[i+6].text
print(qihao,onewei,twowei,threewei,fourwei,fivewei,sixwei,sevenwei)
什么？竟然運(yùn)行錯(cuò)誤，什么鬼，繼續(xù)改，繼續(xù)bug？
what?好的，我這幾天真的迷糊，折騰了倆天，才找出錯(cuò)誤，暈，丟人
忠告：不要眼高手低，多練才是自己真的會(huì)了
迷茫了倆天，以為是被封IP，或者網(wǎng)站有反爬機(jī)制，其實(shí)，什么都沒(méi)有。。。。。
失敗原因：爬蟲(chóng)在做xpath時(shí)候匹配到空值，粗心大意以為網(wǎng)頁(yè)很簡(jiǎn)單，沒(méi)仔細(xì)看，因?yàn)闃?biāo)識(shí)tr還有空值
解決方法：加上try.....except 錯(cuò)誤機(jī)制跳過(guò)tr空值
三、成功爬取，完整代碼如下，已經(jīng)詳細(xì)注釋
為了方便理解思路，爬取代碼就沒(méi)寫成函數(shù)模塊化
#一、導(dǎo)入爬蟲(chóng)第三方庫(kù)
import requests
from bs4 import BeautifulSoup
import time
import xlwt
#二、分析網(wǎng)頁(yè)爬取數(shù)據(jù)
#構(gòu)造瀏覽器模擬（應(yīng)對(duì)403禁止訪問(wèn)）
headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
#構(gòu)造網(wǎng)頁(yè)結(jié)構(gòu)
for k in range(1,74):
url = 'http://tubiao.17mcp.com/Qxc/Haoma.aspx?page={}'.format(str(k))
#請(qǐng)求HTML
res = requests.get(url, headers=headers,timeout=30)
#對(duì)HTML進(jìn)行解析
soup = BeautifulSoup(res.text, 'lxml')
all_lists = []
for item in soup.select('tr')[1:-1]:
dict = {}
#先尋找標(biāo)識(shí)tr
#try異常錯(cuò)誤機(jī)制
try:
#尋找tr下面的標(biāo)識(shí)
qihao = item.select('td strong')[0].text
onewei = item.select('td div')[0].text
twowei = item.select('td div')[1].text
threewei = item.select('td div')[2].text
fourwei = item.select('td div')[3].text
fivewei = item.select('td div')[4].text
sixwei = item.select('td div')[5].text
sevenwei = item.select('td div')[6].text
list = [qihao,onewei,twowei,threewei,fourwei,fivewei,sixwei,sevenwei]
all_lists.append(list)
print(list)
except IndexError:
pass
#三、把數(shù)據(jù)存入Excel中
row0 = ['期數(shù)','各位','十位','千位','萬(wàn)位','第5位','第6位','第7位']#定義表頭，即Excel中第一行標(biāo)題
book = xlwt.Workbook(encoding='utf-8')#創(chuàng)建工作簿
sheet = book.add_sheet('七星彩',cell_overwrite_ok=True)
#創(chuàng)建表名,cell_overwrite_ok=True很重要，用于確認(rèn)同一個(gè)cell單元是否可以重設(shè)值
for row in range(len(row0)):
sheet.write(0,row,row0[row])#寫入表頭
i = 1 #第一行開(kāi)始
for all_list in all_lists:
j = 0#迭代行
for data in all_list:
sheet.write(i,j,data)#迭代列，并寫入數(shù)據(jù)，#重新設(shè)置，需要cell_overwrite_ok=True
j += 1
i += 1
book.save('qingxingcai.xls')
好了，繼續(xù)爬，等待下一個(gè)坑
