爬取百度logo

#!/usr/bin/env python3

# _*_ coding:utf-8 _*_

import logging,shutil,os,requests

from bs4import BeautifulSoup

from selenium.webdriver.supportimport expected_conditions

#查找baidu,并保存到當(dāng)前文件夾下

url="https://www.baidu.com"

logging.basicConfig(level=logging.INFO)

headers={}

headers['User-Agent']="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"

# 發(fā)送get請(qǐng)求獲得一個(gè)response對(duì)象(我們可以從響應(yīng)對(duì)象獲得我們想要的一切數(shù)據(jù)),requests 會(huì)自動(dòng)幫我們拼接請(qǐng)求地址

res=requests.get(url,headers=headers)

try:

if res.status_code==200:

# html字符串創(chuàng)建BeautifulSoup對(duì)象

? ? ? ? soup=BeautifulSoup(res.text,'html.parser')#html解析器

#輸出網(wǎng)頁(yè)內(nèi)容

? ? ? ? print(soup.prettify())

#print ("以上網(wǎng)頁(yè)內(nèi)容")

#img_logo=soup.select_one("head > title")#返回list首位

? ? ? ? img_logo = soup.select_one('#lg > img.index-logo-src')

#img_log=select.xpath("http://*[@id="lg"]/img[1]")

? ? ? ? print ("img_logo"+str(img_logo))

if img_logo:

print("aaa")

img_url=img_logo["src"]#返回圖片標(biāo)簽的src屬性

#組合成完整的url

? ? ? ? ? ? img_url=img_urlif img_url.startswith("http")else "http:"+img_url

print (img_url)

#先刪除本地,在下載

? ? ? ? ? ? file_name="logo.png"

? ? ? ? ? ? if os.path.isfile(file_name):

os.remove(file_name)

#獲取圖片數(shù)據(jù)流

? ? ? ? ? ? res=requests.get(img_url,stream=True)

with open(file_name,"wb")as out_file:

shutil.copyfileobj(res.raw,out_file)

print ("ssd")

else:

logging.info("查找元素失敗")

else:

logging.info("請(qǐng)求失敗")

except WindowsError:

logging.info("連接錯(cuò)誤")


#注意url正確,且頭文件正確;

#可使用命令行直接運(yùn)行 pypthon pc2.py? ,若沒(méi)有導(dǎo)入相關(guān)包使用pip install? bs4 命令導(dǎo)入

#注銷(xiāo)一大塊使用快捷鍵ctl+/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀(guān)點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Date:2016-9-21update:2016-9-30By:Black Crow 前言: 終于進(jìn)入到網(wǎng)絡(luò)頁(yè)面...
    black_crow閱讀 1,396評(píng)論 0 2
  • 聲明:本文講解的實(shí)戰(zhàn)內(nèi)容,均僅用于學(xué)習(xí)交流,請(qǐng)勿用于任何商業(yè)用途! 一、前言 強(qiáng)烈建議:請(qǐng)?jiān)陔娔X的陪同下,閱讀本文...
    Bruce_Szh閱讀 13,005評(píng)論 6 28
  • 珍寶島,一個(gè)依然那么熟悉的名字。那年代在小學(xué)教科書(shū)里,在電影記錄片中,珍寶島就已經(jīng)深深植入我們小時(shí)心里。雖然已經(jīng)過(guò)...
    宗玉蘭閱讀 645評(píng)論 0 1
  • 2016.11.29 這就是我的晚餐,咖啡是買(mǎi)面條送的。具體說(shuō)是辦理會(huì)員,每次吃飯就可以喝免費(fèi)的熱飲。 辦理會(huì)員的...
    碳哥哥閱讀 708評(píng)論 4 23
  • 你偽裝成萬(wàn)獸之王 露出你的虎牙光亮耀眼 引誘我探險(xiǎn) 你的愛(ài)沉溺在森林的幽深中 迷茫得四處飄灑 你的愛(ài)沉溺在情人們的...
    雨格格君閱讀 664評(píng)論 0 1

友情鏈接更多精彩內(nèi)容