scrapy部署介紹相關(guān)的中文文檔地址

https://scrapyd.readthedocs.io/en/latest/

step1安裝使用到的相關(guān)庫(kù)

scrapyd

是運(yùn)行scrapy爬蟲(chóng)的服務(wù)程序,它支持以http命令方式發(fā)布、刪除、啟動(dòng)、停止爬蟲(chóng)程序。而且scrapyd可以同時(shí)管理多個(gè)爬蟲(chóng),每個(gè)爬蟲(chóng)還可以有多個(gè)版本

pip3 install scrapyd

scrapyd-client

發(fā)布爬蟲(chóng)需要使用另一個(gè)專用工具，就是將代碼打包為EGG文件，其次需要將EGG文件上傳到遠(yuǎn)程主機(jī)上這些操作需要scrapyd-client來(lái)幫助我們完成

pip3 install scrapyd-client

安裝完成后可以使用如下命令來(lái)檢查是否安裝成功

scrapyd-deploy -h

step2　修改scrapy項(xiàng)目目錄下的scrapy.cfg配置文件

首先需要修改scrapyd.egg (項(xiàng)目的配置文件)

[deploy]

url=http://localhost:6800

project=項(xiàng)目名稱

修改完成后即可開(kāi)始部署共作

本地部署 項(xiàng)目部署相關(guān)命令： 注意這里是項(xiàng)目的名稱而不是工程的名稱

scrapyd-deploy -p <項(xiàng)目名稱>

也可以指定版本號(hào)

scrapyd-deploy -p <項(xiàng)目名稱> --version <版本號(hào)>

運(yùn)行爬蟲(chóng)

• project (string, required) - the project name
• spider (string, required) - the spider name

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

關(guān)閉爬蟲(chóng)

• project (string, required) - the project name
• job (string, required) - the job id

curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid'

獲取部署的爬蟲(chóng)項(xiàng)目列表

curl http://localhost:6800/listprojects.json

獲取項(xiàng)目下的爬蟲(chóng)文件列表

curl http://localhost:6800/listspiders.json?project=myproject

獲取工程下的爬蟲(chóng)運(yùn)行狀態(tài)

curl http://localhost:6800/listjobs.json?project=myproject

刪除部署的爬蟲(chóng)項(xiàng)目

• project (string, required) - the project name

curl http://localhost:6800/delproject.json -d project=myproject

遠(yuǎn)端部署

step1.購(gòu)買(mǎi)linux系統(tǒng)服務(wù)器

DeepinScrot-1028

step3.配置項(xiàng)目運(yùn)行環(huán)境

• 配置python環(huán)境(ubuntu自帶python3環(huán)境))

• 安裝pip3：sudo apt install python3-pip

• 安裝scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/

  • 如果安裝失敗添加如下依賴：

  sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  
  

• 安裝scrapyd: pip3 install scrapyd

• 安裝scrapyd-client: pip3 install scrapyd-client

• 添加爬蟲(chóng)運(yùn)行的三方庫(kù)：

  • pip3 install requests
  • pip3 install pymysql
  • pip3 install pymongodb
  • ...........

step4: 修改scrapyd的配置文件，允許外網(wǎng)訪問(wèn)

• 查找配置文件的路徑：find -name default_scrapyd.
• 修改配置文件: sudo vim 路徑

DeepinScrot-3847

DeepinScrot-4059

注意:此時(shí)啟動(dòng)scrapayd服務(wù)6800端口還不能訪問(wèn)

step5:要去服務(wù)器安全組配置

• 進(jìn)入服務(wù)安全組選項(xiàng)添加安全組

DeepinScrot-4358

• 添加成功后，點(diǎn)擊修改規(guī)則，添加如下信息(配置目的:允許訪問(wèn)6800端口)

DeepinScrot-4434

DeepinScrot-4648

• 完成后返回到云主機(jī)菜單，找到配置安全組菜單，跟換為剛才添加的安全組

DeepinScrot-4902

• 最終完成后，在瀏覽器中輸入ip地址和端口,顯示如下圖，說(shuō)明配置成功
  DeepinScrot-5152

最后部署爬蟲(chóng)項(xiàng)目到服務(wù)器：

首先需要修改scrapyd.egg (項(xiàng)目的配置文件)

[deploy]

url = http://118.24.255.219:6800

project=項(xiàng)目名稱

之后的操作步驟與本地部署一致

如果涉及到數(shù)據(jù)庫(kù),則需要在遠(yuǎn)程服務(wù)器中安裝mysql

sudo apt update

sudo apt-get install mysql-server mysql-client

緊接著根據(jù)提示設(shè)置數(shù)據(jù)數(shù)據(jù)庫(kù)密碼

修改配置文件允許外網(wǎng)訪問(wèn)

找到mysql配置文件并做如下修改：允許遠(yuǎn)程連接

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

將 
bind-address= 127.0.0.1 
注釋掉或則修改為
bind-address= 0.0.0.0

授權(quán)root賬戶允許遠(yuǎn)程訪問(wèn)：

grant all privileges on . to root@'%' identified by 'password' with grant option;

注意：如果還是不能遠(yuǎn)程訪問(wèn)就重啟mysql服務(wù)

sudo service mysql stop sudo service mysql start

數(shù)據(jù)庫(kù)的遷移和數(shù)據(jù)遷移

navicate可視化工具進(jìn)行數(shù)據(jù)庫(kù)的遷移，和查看操作

mongodb數(shù)據(jù)庫(kù)的安裝

sudo apt-get install mongodb

啟動(dòng):

sudo service mongodb start 連接客戶端報(bào)錯(cuò)參考如下網(wǎng)址： （輸入：sudo systemctl enable mongodb） mongo

修改配置文件的路徑

sudo vim /etc/mongodb.conf

redis數(shù)據(jù)庫(kù)的安裝

在遠(yuǎn)端服務(wù)器上安裝redis數(shù)據(jù)庫(kù)

• step1:

  • cd ~?。ㄟM(jìn)入指定的目錄）

• step2:

  • 下載redis數(shù)據(jù)庫(kù)壓縮包： wget http://download.redis.io/releases/redis-4.0.10.tar.gz

• step3:

  • 解壓下載的文件: tar -zxvf redis-4.0.10.tar.gz

• step4:

  • 復(fù)制,放到/usr/local目錄下面( 先創(chuàng)建文件夾/usr/local/redis/ )
  • mv ./redis-4.0.11/* /usr/local/redis/

• step5:進(jìn)入redis目錄

  • cd /usr/local/redis/

• step6:

  • sudo make
  • sudo make test
  • sudo make install

• step7:

  • sudo cp /usr/local/redis/redis.conf /etc/redis/

• step8:

  • 修改配置文件,允許外網(wǎng)訪問(wèn) sudo vim redis.cnf
  • 將配置文件中的bind修改為: bind=0.0.0.0

• step9:

  • 啟動(dòng)redis服務(wù)： sudo redis-server redis.cnf

• step10:鏈接客戶端

  • redis-cli -h ip -p port

分布式爬蟲(chóng)項(xiàng)目的部署

step1將項(xiàng)目修改為分布式

• step1

pip3 install scrapy-redis

• step2

修改settings.py設(shè)置文件：

#這里表示啟用scrapy-redis里的去重組件，不實(shí)用scrapy默認(rèn)的去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

#使用了scrapy-redis里面的調(diào)度器組件，不使用scrapy默認(rèn)的調(diào)度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

#允許暫停，redis請(qǐng)求的記錄不會(huì)丟失，不清除Redis隊(duì)列，可以恢復(fù)和暫停
SCHEDULER_PERSIST = True

#下面這些是request的隊(duì)列模式
#一般情況下使用第一種
#scrapy-redis默認(rèn)的請(qǐng)求隊(duì)列形式（有自己的優(yōu)先級(jí)順序）
#是按照redis的有序集合排序出隊(duì)列的
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"

# scrapy_redis.pipelines.RedisPipeline 必須啟用，才能夠?qū)?shù)據(jù)存儲(chǔ)到redis數(shù)據(jù)庫(kù)中
ITEM_PIPELINES = {
    'example.pipelines.ExamplePipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}

# 指定要存儲(chǔ)的redis的主機(jī)的ip，默認(rèn)存儲(chǔ)在127.0.0.1

REDIS_HOST = 'redis的主機(jī)的ip'

# 定要存儲(chǔ)的redis的主機(jī)的port，默認(rèn)6379

REDIS_PORT = '6379'

• step2

  • 修改爬蟲(chóng)文件

• step3

  • 部署爬蟲(chóng)項(xiàng)目

• step4

  • 啟動(dòng)爬蟲(chóng)文件

• step5

  • 給爬蟲(chóng)添加起始任務(wù) lpush key value(起始url)