1.京東商品頁抓取
url = "https://item.jd.com/2330392.html"
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print("爬蟲失敗")
2.亞馬遜商品頁抓取(修改User-Agent,模擬瀏覽器)
url = "https://www.amazon.cn/gp/product/B0094DVNT6"
try:
kv = {'User-Agent' : 'Mozilla/5.0'}
r = requests.get(url, headers=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print("爬蟲失敗")
3.百度搜索
keyword = "Python"
try:
kv = {'wd' : keyword}
r = requests.get("http://www.baidu.com/s", params = kv)
print(r.requests.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬蟲失敗")
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。
