需求：爬取貓眼top100 movie 包含內(nèi)容 ['序號(hào)'， ‘電影名稱’， ‘主演’， ‘上映日期’， ‘評(píng)分’] 數(shù)據(jù)保存為csv格式文檔 步驟： ...
IP屬地：上海
-
爬蟲(chóng)思路——Selenium下載貓眼電影top100 -
爬蟲(chóng)思路——Selenium獲取Cookies需求： 使用selenium 獲取網(wǎng)頁(yè) Cookies 爬蟲(chóng)當(dāng)中的cookie的作用 1 模擬登錄 (有的網(wǎng)站你加上cookie也登錄不了) 2 反反爬(檢查cookie)，...
-
爬蟲(chóng)思路——Selenium豆瓣登錄需求：用selenium完成登錄豆瓣賬號(hào) 使用selenium前， 需要安裝瀏覽器驅(qū)動(dòng) 此處使用Chrome瀏覽器，安裝瀏覽器驅(qū)動(dòng)chromedriver Chrome瀏覽器...
-
爬蟲(chóng)思路——BS4（各地氣溫信息）需求： 爬取中國(guó)天氣網(wǎng) 所有城市對(duì)應(yīng)的溫度把數(shù)據(jù)保存到csv當(dāng)中 步驟： 拆解需求： 需要用到的模塊發(fā)起網(wǎng)頁(yè)請(qǐng)求 import requests 使用BS4 解析網(wǎng)頁(yè)，獲取所...
-
爬蟲(chóng)思路——Xpath（douban movie 250）需求： 豆瓣top250電影：https://movie.douban.com/top250 爬取 電影的名字 評(píng)分 引言 詳情頁(yè)的url 1-10頁(yè) 保存到csv文件當(dāng)中 ...
-
爬蟲(chóng)思路——正則表達(dá)式需求： 爬取http://www.weather.com.cn/weather/101020100.shtml 爬取最近7天的天氣預(yù)報(bào)，包含內(nèi)容 ['日期'， ‘天氣’， ‘...
-
爬蟲(chóng)錯(cuò)題集1. response = urllib.request.urlopen(req)獲取的response對(duì)象沒(méi)有.content方法 代碼如下： 報(bào)錯(cuò)界面如下： ...
-
L14_多線程爬蟲(chóng)多線程基本介紹 有很多場(chǎng)景中的事是同時(shí)進(jìn)行的，比如開(kāi)車的時(shí)候手和腳共同來(lái)駕駛汽車，再比如唱歌跳舞同時(shí)進(jìn)行 如何創(chuàng)建線程 · 方法一：通過(guò)函數(shù) 使用 threading 模塊...
-
圖形驗(yàn)證碼識(shí)別Tesseract 安裝以及簡(jiǎn)介 阻礙我們爬蟲(chóng)的，有時(shí)候正是在登錄或者請(qǐng)求一些數(shù)據(jù)時(shí)候的圖形驗(yàn)證碼。 因此這里講解一種能將圖片翻譯成文字的技術(shù)。將圖片翻譯成文字一般被稱為光學(xué)...
-
L10-13_Selenium的使用爬蟲(chóng)和反爬蟲(chóng)的斗爭(zhēng)歷史 爬蟲(chóng)建議 · 盡量減少請(qǐng)求次數(shù) · 保存獲取到得HTML，供查錯(cuò)和重復(fù)使用 · 關(guān)注網(wǎng)站的所有類型的頁(yè)面 · H5頁(yè)面 · APP · 多偽裝 ...
-
L08-09_BS4BS4基本概念 Beautiful Soup是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的網(wǎng)頁(yè)信息提取庫(kù) 源碼分析 · 安 裝 pip install lxml pip in...
-
L07_lxml 和 xpathXpath簡(jiǎn)介 基本概念 XPath（XML Path Language）是一種XML的查詢語(yǔ)言，他能在XML樹(shù)狀結(jié)構(gòu)中尋找節(jié)點(diǎn)。 XPath 用于在 XML 文檔中通過(guò)元素...
-
L05-06_正則表達(dá)式正則表達(dá)式概念 · 概 念 · 正則表達(dá)式是對(duì)字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個(gè)“規(guī)則字符串”，這個(gè)“規(guī)則字符串”用來(lái)...
-
-
L02-04_爬蟲(chóng)網(wǎng)絡(luò)請(qǐng)求模塊1. urllib. request模塊 · 版 本 python2 ：urllib2、urllib python3 ：把urllib 和 urllib2 合并, url...
-
L01_爬蟲(chóng)前導(dǎo)知識(shí)爬蟲(chóng)的前導(dǎo)知識(shí) · 端口 · 數(shù)據(jù)通信的原理，數(shù)據(jù)傳輸分為幾步？ · 找到對(duì)方IP · 數(shù)據(jù)要發(fā)送到對(duì)方指定的應(yīng)用程序上。為了標(biāo)識(shí)這些應(yīng)用程序，給這些網(wǎng)絡(luò)應(yīng)用程序都...
-
Lesson_15 異常與文件操作1. 異常簡(jiǎn)介 · 程序在運(yùn)行過(guò)程中可能會(huì)出現(xiàn)一些錯(cuò)誤。比如：使用了不存在的索引，兩個(gè)不同類型的數(shù)據(jù)相加等這些錯(cuò)誤，稱之為異常 · 處理異常： 程序運(yùn)行時(shí)出現(xiàn)異常，目的并...
-
Lesson_14 模塊(核心)1. 模塊 · 模塊化指將一個(gè)完整的程序分解成一個(gè)個(gè)的小模塊 · 通過(guò)將模塊組合，來(lái)搭建出一個(gè)完整的程序 · 模塊化的有點(diǎn)： · 方便開(kāi)發(fā) （ 開(kāi)發(fā)時(shí)，功能模塊區(qū)分開(kāi)）...
-
Lesson_13 面向?qū)ο?下)（核心）0. 繼承的引入 1. 繼承簡(jiǎn)介 · 繼承是面向?qū)ο笕筇匦灾? · 通過(guò)繼承我們可以使一個(gè)類獲取到其他類中的屬性和方法 · 在定義類時(shí)，可以在類名后面的括號(hào)中指定當(dāng)前...