Scrapy是Python開發(fā)的一個(gè)快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點(diǎn)并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。在安裝Scrapy模塊時(shí)，pip install Scrapy出現(xiàn)了以下報(bào)錯(cuò)：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools。這是由于Scrapy有很多個(gè)依賴，所以在安裝Scrapy之前你就要先安裝其他的依賴，其中一個(gè)就是Twisted模塊。但是在pip install Twisted的時(shí)候，還是出現(xiàn)上述報(bào)錯(cuò)。

• 安裝Twisted模塊
  要安裝Twisted模塊，首先要先安裝wheel模塊。
  1.確認(rèn)python的版本。打開命令行工具輸入python命令，輸出如下圖。
  python版本.png
  去https://www.lfd.uci.edu/~gohlke/pythonlibs/下載對應(yīng)版本的Twisted，cp后面跟的是版本號，例如我的版本號是3.6.5，那么我要下載的是cp36；根據(jù)AMD64還是WIN32選擇下載的Twisted版本。針對我的python，我下載的是Twisted-19.2.0-cp36-cp36m-win_amd64.whl。下載之后再文件所在路徑下執(zhí)行pip install Twisted-19.2.0-cp36-cp36m-win_amd64.whl（這里是你下載的對應(yīng)文件名）。安裝成功之后再pip install Scrapy安裝scrapy模塊即可。輸入scrapy命令，如果可以看到scrapy的操作命令，即說明scrapy安裝成功。
• Anaconda安裝
  除了上述方式安裝scrapy模塊之外，還可以通過Anaconda直接安裝scrapy模塊。
  1.先下載安裝Anaconda客戶端。
  2.安裝scrapy模塊。
  （Anaconda的下載安裝有很多教程，就不贅述了，這里只提供一種思路）