本地部署
1.先安裝兩個庫：
scrapyd：
- pip3 install scrapyd
是運行scrapy爬蟲的服務程序,它支持以http命令方式發(fā)布、刪除、啟動、停止爬蟲程序。而且scrapyd可以同時管理多個爬蟲,每個爬蟲還可以有多個版本
scrapyd-client:
- pip3 install scrapyd-client
發(fā)布爬蟲需要使用另一個專用工具，就是將代碼打包為EGG文件，其次需要將EGG文件上傳到遠程主機上這些操作需要scrapyd-client來幫助我們完成 - 安裝完成后可以使用如下命令來檢查是否安裝成功:
scrapyd-deploy -h
2.修改scrapy項目目錄下的scrapy.cfg配置文件
-
首先需要修改scrapyd.egg (項目的配置文件)
[deploy:項目名稱]
url=http://localhost:6800
project=項目名稱 修改完成后即可開始部署操作：版本號也可以不寫
scrapyd-deploy -p <項目名稱>
scrapyd-deploy -p <項目名稱> --version <版本號>
3.爬蟲部署成功后，可以運行的命令：
- 開啟爬蟲
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider - 關閉爬蟲
curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid' - 獲取部署的爬蟲項目列表
curl http://localhost:6800/listprojects.json - 獲取項目下的爬蟲文件列表
curl http://localhost:6800/listspiders.json?project=myproject - 獲取工程下的爬蟲運行狀態(tài)
curl http://localhost:6800/listjobs.json?project=myproject - 刪除部署的爬蟲項目
curl http://localhost:6800/delproject.json -d project=myproject
遠端部署
在終端上登錄服務器：
![]()
DeepinScrot-1028
配置項目運行環(huán)境
- 配置python環(huán)境(ubuntu自帶python3環(huán)境))
- 安裝pip3：sudo apt install python3-pip
- 安裝scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/
如果安裝失敗添加如下依賴：sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev - 安裝scrapyd: pip3 install scrapyd
- 安裝scrapyd-client: pip3 install scrapyd-client
- 添加爬蟲運行的三方庫：
- pip3 install requests
- pip3 install pymysql
- pip3 install pymongodb
- ...........
修改scrapyd的配置文件，允許外網訪問
- 查找配置文件的路徑：find -name default_scrapyd.
- 修改配置文件: sudo vim 路徑
- 將原來的bind_address注掉改為bind_address=0.0.0.0
注意:此時啟動scrapayd服務6800端口還不能訪問
step5:要去服務器安全組配置
- 進入服務安全組選項添加安全組
- 添加成功后，點擊修改規(guī)則，添加如下信息(配置目的:允許訪問6800端口)
- 完成后返回到云主機菜單，找到配置安全組菜單，跟換為剛才添加的安全組
-
最終完成后，在瀏覽器中輸入ip地址和端口,顯示如下圖，說明配置成功 DeepinScrot-5152
最后部署爬蟲項目到服務器：
首先需要修改scrapyd.egg (項目的配置文件)
[deploy]
url = http://118.24.255.219:6800
project=項目名稱
之后的操作步驟與本地部署一致
如果涉及到數據庫,則需要在遠程服務器中安裝mysql
sudo apt update
sudo apt-get install mysql-server mysql-client
緊接著根據提示設置數據數據庫密碼
修改配置文件允許外網訪問
找到mysql配置文件并做如下修改：允許遠程連接
sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
將
bind-address= 127.0.0.1
注釋掉或則修改為
bind-address= 0.0.0.0
授權root賬戶允許遠程訪問：
grant all privileges on . to root@'%' identified by 'password' with grant option;
注意：如果還是不能遠程訪問就重啟mysql服務
sudo service mysql stop sudo service mysql start
數據庫的遷移和數據遷移
navicate可視化工具進行數據庫的遷移，和查看操作
mongodb數據庫的安裝
sudo apt-get install mongodb
啟動:
sudo service mongodb start 連接客戶端報錯參考如下網址： （輸入：sudo systemctl enable mongodb） mongo
修改配置文件的路徑
sudo vim /etc/mongodb.conf
redis數據庫的安裝
在遠端服務器上安裝redis數據庫
- step1:
- cd ~ （進入指定的目錄）
- step2:
- 下載redis數據庫壓縮包： wget http://download.redis.io/releases/redis-4.0.10.tar.gz
- step3:
- 解壓下載的文件: tar -zxvf redis-4.0.10.tar.gz
- step4:
- 復制,放到/usr/local目錄下面( 先創(chuàng)建文件夾/usr/local/redis/ )
- mv ./redis-4.0.11/* /usr/local/redis/
- step5:進入redis目錄
- cd /usr/local/redis/
- step6:
- sudo make
- sudo make test
- sudo make install
- step7:
- sudo cp /usr/local/redis/redis.conf /etc/redis/
- step8:
- 修改配置文件,允許外網訪問 sudo vim redis.cnf
- 將配置文件中的bind修改為: bind=0.0.0.0
- 將配置文件中的保護模式設置為NO
- step9:
- 啟動redis服務： sudo redis-server redis.cnf
- step10:鏈接客戶端
- redis-cli -h ip -p port
分布式爬蟲項目的部署
step1將項目修改為分布式
- step1
pip3 install scrapy-redis
- step2
修改settings.py設置文件：
#這里表示啟用scrapy-redis里的去重組件，不實用scrapy默認的去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#使用了scrapy-redis里面的調度器組件，不使用scrapy默認的調度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
#允許暫停，redis請求的記錄不會丟失，不清除Redis隊列，可以恢復和暫停
SCHEDULER_PERSIST = True
#下面這些是request的隊列模式
#一般情況下使用第一種
#scrapy-redis默認的請求隊列形式（有自己的優(yōu)先級順序）
#是按照redis的有序集合排序出隊列的
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# scrapy_redis.pipelines.RedisPipeline 必須啟用，才能夠將數據存儲到redis數據庫中
ITEM_PIPELINES = {
'example.pipelines.ExamplePipeline': 300,
'scrapy_redis.pipelines.RedisPipeline': 400,
}
# 指定要存儲的redis的主機的ip，默認存儲在127.0.0.1
REDIS_HOST = 'redis的主機的ip'
# 定要存儲的redis的主機的port，默認6379
REDIS_PORT = '6379'
-
step2
- 修改爬蟲文件
-
step3
- 部署爬蟲項目
-
step4
- 啟動爬蟲文件
-
step5
- 給爬蟲添加起始任務 lpush key value(起始url)
