本項(xiàng)目使用mac開發(fā)，環(huán)境配置都是基于mac的環(huán)境，python版本為2.7，IDE為PyCharm，數(shù)據(jù)庫(kù)為mysql，redis，elasticsearch

下載Scrapy

• mac自帶工具easy_install下載pip
• pip install scrapy

注意：mac中自帶自帶的python2.x的庫(kù)，因此默認(rèn)安裝的包是不能被刪除的，原因很簡(jiǎn)單：Scrapy依賴six庫(kù)，但是系統(tǒng)的six庫(kù)比較老，安裝scrapy需要卸載之后安裝一個(gè)新的。但是Mac OS本身也依賴six，導(dǎo)致無(wú)法刪除，因此沒(méi)有辦法安裝Scrapy。

Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. 
This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):

解決方法：使用virtualenv安裝虛擬環(huán)境

  sudo pip install virtualenv
//下載虛擬環(huán)境
  sudo virtualenv scrapyenv
//安裝一個(gè)名字為'scrapyenv'的虛擬環(huán)境
  cd scrapyenv
  source bin/activate
//激活虛擬環(huán)境
  sudo pip install Scrapy
//下載Scrapy

• 安裝路徑為cd /Library/Python/2.7/site-packages/scrapyenv/bin
• 安裝之后的虛擬環(huán)境中的目錄結(jié)構(gòu)

.
├── cache
├── plugins
│   └── pyenv-virtualenv
│       ├── bin
│       ├── etc
│       │   └── pyenv.d
│       ├── shims
│       └── test
│           ├── stubs
│           └── tmp
├── shims
└── versions
    ├── 3.5.1
    │   ├── bin
    │   ├── envs
    │   │   ├── my-virtualenv-3.5.1
    │   │   └── new-env-3.5.1
    │   ├── include
    │   │   └── python3.5m
    │   ├── lib
    │   │   ├── pkgconfig
    │   │   └── python3.5
    │   └── share
    │       └── man
    ├── my-virtualenv-3.5.1 -> /Users/jerry/.pyenv/versions/3.5.1/envs/my-virtualenv-3.5.1
    └── new-env-3.5.1 -> /Users/jerry/.pyenv/versions/3.5.1/envs/new-env-3.5.1

在PyCharm中添加解釋器

• 新建一個(gè)項(xiàng)目
• 選擇本地剛剛新建的虛擬環(huán)境

image.png

• 添加虛擬環(huán)境地址

image.png

/Library/Python/2.7/site-packages/scrapyenv/bin/python

image.png

添加成功。

指定虛擬環(huán)境中的python版本

virtualenv test --python=python3.5

為pip添加豆瓣源

https://pypi.douban.com/simple/
//豆瓣源地址

安裝包時(shí)輸入

pip install -i https://pypi.douban.com/simple/  xxx
// xxx為下載的包名