爬蟲就是模擬客服端發(fā)送請求，Headers是模擬發(fā)送請求的重要參數(shù)之一。瀏覽器抓包，和fiddle抓包是我們常用的幾種方式之一。不過我們用工具抓到的Headers不是字典，如下圖。

瀏覽器查看headers

fiddle查看headers

平常都需要手動一條一條的添加到我們的代碼中，接下來介紹一種方法能將網(wǎng)絡(luò)抓取到的Headers一鍵轉(zhuǎn)換成字典形式的Headers

Headers_str = '''shopId: 0
orderPlatform: 
mtWmPoiId: 973451228604358
source: shoplist
address: 
cityId: 
channel: 6
gpsLng: 120.096157
gpsLat: 30.306544
uuid: 69EB4030C88C9E4544E94711CD53F6F128516E412FCCA96BDCD9D3B6470A477A
platform: 3
partner: 4
originUrl: https://h5.waimai.meituan.com/waimai/mindex/menu?dpShopId=&mtShopId=973451228604358&utm_source=&source=shoplist&initialLat=30.307573&initialLng=120.097436&actualLat=30.306544&actualLng=120.096157
riskLevel: 71
optimusCode: 10
wm_latitude: 31238195
wm_longitude: 121502262
wm_actual_latitude: 30337453
wm_actual_longitude: 120120594
openh5_uuid: 69EB4030C88C9E4544E94711CD53F6F128516E412FCCA96BDCD9D3B6470A477A
_token: '''
{i.split(':')[0].strip(): i.split(':')[1].strip() if i.split(':')[1] else '' for i in a.split('\n') if i}

Out[8]: 
{'shopId': '0',
 'orderPlatform': '',
 'mtWmPoiId': '973451228604358',
 'source': 'shoplist',
 'address': '',
 'cityId': '',
 'channel': '6',
 'gpsLng': '120.096157',
 'gpsLat': '30.306544',
 'uuid': '69EB4030C88C9E4544E94711CD53F6F128516E412FCCA96BDCD9D3B6470A477A',
 'platform': '3',
 'partner': '4',
 'originUrl': 'https',
 'riskLevel': '71',
 'optimusCode': '10',
 'wm_latitude': '31238195',
 'wm_longitude': '121502262',
 'wm_actual_latitude': '30337453',
 'wm_actual_longitude': '120120594',
 'openh5_uuid': '69EB4030C88C9E4544E94711CD53F6F128516E412FCCA96BDCD9D3B6470A477A',
 '_token': ''}

代碼

   {i.split(':')[0].strip(): i.split(':')[1].strip() if i.split(':')[1] else '' for i in a.split('\n') if i} 

注意

'''后面不需要手動換行，否則第一個鍵值對為空。

python爬蟲必備工具箱 url解析url提取參數(shù)
Scrapy-Redis手動添加去重請求(指紋)
Python 2019練習(xí)題，筆試題合集（持續(xù)更新）