一、Scrapy的安裝

(一)首先你要搭建一個虛擬環(huán)境,那么問題來了,如何搭建一個虛擬環(huán)境呢?以及為什么要搭建虛擬環(huán)境?

不互相影響。比如pygame編寫游戲,目前pygame庫只支持py2.7,py3就不可以啦。還有些庫py3有所升級,為了不互相影響,放入一個虛擬環(huán)境中。今后scrapy shell的時候都會更加方便,所以建議使用virtualenv安裝在獨(dú)立的環(huán)境下,可以減少一些問題,因?yàn)閙ac系統(tǒng)自帶python,例如一些依賴庫依賴的一些新的版本,而升級新版本會把舊版本卸載掉,卸載可能會有權(quán)限的問題。

1、安裝virtualenv(紅色部分為輸入)

打開mac終端

pip install virtualenv

pip install virtualenvwrapper

成功會顯示下面:記住安裝地址

Requirement already satisfied: virtualenv in /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages

cd ~/sun(別把虛擬環(huán)境放在根目錄下,還是創(chuàng)建一個新的文件夾吧)

export WORKON_HOME=~/sun

source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh

mkvirtualenv sun1

mkvirtualenv sun2

......

可以設(shè)置很多虛擬環(huán)境的名稱

把export命令和source命令配置好以后,一勞永逸了,以后不用每次都打這么一大堆了。

直接輸入

workon sun1

workon sun2

退出虛擬環(huán)境的命令

deactivate

關(guān)于豆瓣源的使用:

如果pip install XXXX失敗,就用豆瓣的鏡像源,會加速下載

pip install -i https://pypi.douban.com/simple/? XXXX

如何卸載pip包pip uninstall XXX

各位有沒有遇到pip uninstall XXX失敗怎么辦?

有可能當(dāng)初是用管理員權(quán)限sudo pip安裝的,卸載就如下

sudo pip uninstall XXX

下面是一些基本操作命令

列出虛擬環(huán)境:

$ lsvirtualenv -b

env1

env2

切換虛擬環(huán)境:

$workon env1

查看環(huán)境里安裝了哪些包:

$lssitepackages

進(jìn)入當(dāng)前環(huán)境:

$cdvirtualenv

進(jìn)入當(dāng)前環(huán)境的site-packages:

$cdsitepackages$cdsitepackages pip

復(fù)制虛擬環(huán)境:

$ cpvirtualenv env1 env3

Copying env1 as env3...

退出虛擬環(huán)境:

$deactivate

刪除虛擬環(huán)境:

$rmvirtualenv env2Removingenv2...

(二)、使用國內(nèi)豆瓣源進(jìn)行安裝scrapy

pip install -i https://pypi.douban.com/simple/ scrapy

(三)、在虛擬環(huán)境下安裝scrapy的單獨(dú)項(xiàng)目

scrapy startproject projectname

(四)、進(jìn)入pycharm 打開 projectname


成功之后是這樣的

(五)調(diào)好虛擬環(huán)境

現(xiàn)在就導(dǎo)入進(jìn)來了,接下來我們就能編寫我們的scapy代碼了。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容