簡(jiǎn)介

安裝Pycharm 【這是比較推薦的IDE】

• 我使用的是2018版本：

  
  
  輸入圖片說(shuō)明

安裝 Virtualenv

• 直接參考之前的文檔即可：http://www.itdecent.cn/p/58760a582e72

Virtualenv 基本使用

• 查找python 的應(yīng)用目錄：/usr/bin/python2 和 /usr/bin/python3

輸入圖片說(shuō)明

• 新建立 test-python 目錄，然后在這個(gè)目錄里面做測(cè)試 cd test-python

# 新建立虛擬環(huán)境
virtualenv -p /usr/local/bin/python3.6 venv

• 建立后大概這個(gè)樣子：

  
  
  輸入圖片說(shuō)明

• 啟動(dòng)虛擬環(huán)境 source ./venv/bin/activate source命令的作用是在當(dāng)前bash環(huán)境下讀取并執(zhí)行duFileName中的命令。

• 然后可以通過(guò) deactivate 退出虛擬環(huán)境，注意 deactivate 是虛擬環(huán)境中的一個(gè)命令。
  

  輸入圖片說(shuō)明

• 然后我們還可以創(chuàng)建一個(gè)2.7的項(xiàng)目 virtualenv -p /usr/bin/python2 venv2

• 啟動(dòng)python 2.7項(xiàng)目，啟動(dòng)方法同上面是一樣的 source ./venv2/bin/activate
  

  輸入圖片說(shuō)明

安裝Virtualenv的管理工具 Virtualenvwrapper

• pip install virtualenvwrapper 安裝過(guò)程一般來(lái)講比較順利

# 如果缺少 pytest-cov 或者 pytest-filter 直接安裝即可，一遍過(guò)的可以忽略這里。
pip install -i https://pypi.douban.com/simple pytest-cov
pip install -i https://pypi.douban.com/simple pytest-filter-subpackage

image.png

• 說(shuō)實(shí)話我的安裝好像有點(diǎn)問(wèn)題，直接安裝到 anaconda3/bin 下面去了，要不是find了一下還真找不到。find ~/ -name virtualenvwrapper.sh
  

  輸入圖片說(shuō)明

• 修改 vim ~/.bash_profile 末尾加入：

# >>> linhai add workon >>>

# 這個(gè)目錄注意一定要和 virtualenvwrapper 的相關(guān)目錄一直否則會(huì)報(bào)錯(cuò)的，我的安裝到 anaconda3下面了將錯(cuò)就錯(cuò)吧，我也無(wú)所謂了。
VIRTUALENVWRAPPER_PYTHON=/Users/apple/opt/anaconda3/bin/python3
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
export WORKON_HOME=$HOME/Desktop/coding/git-fiels/jk-python/codes
source /Users/apple/opt/anaconda3/bin/virtualenvwrapper.sh

# <<< linhai add workon <<<

• 讓文件生效 source ~/.bash_profile
• 輸入 workon --help 如果出現(xiàn)幫助信息表示安裝成功了。

通過(guò) mkvirtualenv 創(chuàng)建python 虛擬開發(fā)環(huán)境

• mkvirtualenv python_def，通過(guò) python --version 可以看出默認(rèn)創(chuàng)建的是 2.7的環(huán)境
  

  輸入圖片說(shuō)明

• mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 python_3x 通過(guò)命令創(chuàng)建一個(gè)3.x版本的環(huán)境
  

  輸入圖片說(shuō)明

• 上面完全試驗(yàn)成功了，相對(duì)來(lái)講好用多了，當(dāng)前目錄結(jié)構(gòu)如下： deactivate; ls codes

• 然后我們還可以通過(guò) workon 命令直接查看所轄的項(xiàng)目，當(dāng)然為了管理方便最好還是需要進(jìn)行代碼的git管理的。
  

  輸入圖片說(shuō)明

接下來(lái)建立一個(gè)簡(jiǎn)單scrapy 項(xiàng)目，用來(lái)串聯(lián)所有的環(huán)境使用。

• mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 test-scrapy 生成一個(gè)測(cè)試項(xiàng)目。

• 我的項(xiàng)目目錄是：/Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/
  

  輸入圖片說(shuō)明

• 用 pycharm 打開目錄 /Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/ 打開后發(fā)現(xiàn)直接就在虛擬環(huán)境中了，如果沒(méi)在可以通過(guò)workon 命令進(jìn)入
  

  輸入圖片說(shuō)明

• 安裝 scrapy pip install -i https://pypi.douban.com/simple scrapy，然后查看版本，有信息表示成功。
  

  輸入圖片說(shuō)明

• 創(chuàng)建一個(gè)名稱叫做 cnblog 的項(xiàng)目scrapy startproject cnblog
  

  輸入圖片說(shuō)明

• 接下來(lái)生成一個(gè)爬蟲文件

cd cnblog/
scrapy genspider cnblogs  www.cnblogs.com

輸入圖片說(shuō)明

• 如上創(chuàng)建后項(xiàng)目目錄樹中顯示如下圖：

輸入圖片說(shuō)明

• 設(shè)置虛擬環(huán)境到 pycharm IDE中，F(xiàn)ile-Preferences 搜索 interpreter 找到對(duì)應(yīng)項(xiàng)目 test-scrapy 的設(shè)置，實(shí)時(shí)上我的IDE直接識(shí)別了，非常Nice
  
  輸入圖片說(shuō)明

為了調(diào)試方便添加main.py 作為爬蟲啟動(dòng)文件

• 新建 main.py 內(nèi)容如下：

from scrapy.cmdline import execute

import sys
import os

# print("#########")
# print( os.path.dirname(os.path.abspath(__file__)) )
# 目的是把當(dāng)前的目錄加入環(huán)境變量
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
# 執(zhí)行爬蟲
execute(["scrapy", "crawl", "cnblogs"])

• 之后就可以運(yùn)行main.py 然后通過(guò)斷點(diǎn)調(diào)試：

輸入圖片說(shuō)明