跑超大數(shù)據(jù)集,常常用到服務(wù)器。這里“用到”指的是在只知道服務(wù)器的用戶名+密碼以及服務(wù)器ip的情況下,在自己本地主機(jī)上實(shí)現(xiàn)對(duì)服務(wù)器的操作,通過服務(wù)器來跑程序。
要解決的問題有兩個(gè):
1.本地機(jī)怎么連接服務(wù)器,實(shí)現(xiàn)在本地機(jī)上生成的終端小窗口上操作
2.源數(shù)據(jù)以及程序怎么傳送到服務(wù)器以及實(shí)驗(yàn)結(jié)果怎么保存到本地
針對(duì)問題1,考慮通過ssh連接服務(wù)器,然后windows下的工具有很多,我用的是putty。首先下載Putty安裝上,在putty configuration中輸入服務(wù)器ip地址,此時(shí)跳出一個(gè)新窗口提示我們輸入用戶名和密碼,如果從始至終只做了上面操作,那么輸完密碼后出現(xiàn)的是;Access denied
因?yàn)榇藭r(shí)服務(wù)器沒有或沒有打開ssh服務(wù),這時(shí)需要到服務(wù)器上安裝ssh:
sudo apt-get install openssh-server
然后通過命令啟動(dòng)ssh服務(wù)
此時(shí),再在本地上通過putty就可以在本地操作服務(wù)器了
針對(duì)問題2,首先考慮數(shù)據(jù)部署到服務(wù)器上,因?yàn)槲覕?shù)據(jù)還沒跑完,所以還沒有試怎么把把數(shù)據(jù)從服務(wù)器拷貝到本地.
關(guān)于拷貝數(shù)據(jù)這塊,我使用的是pscp命令,網(wǎng)上說pscp.exe直接在putty的安裝目錄就有,我是獨(dú)立下載的pscp.exe文件,將它放在C:/windows/system32下,這樣在cmd下就可以識(shí)別pscp命令。在本地主機(jī)上win+R進(jìn)入windows的命令行,在dos命令窗口執(zhí)行:pscp 本地源文件路徑 服務(wù)器用戶名@服務(wù)器ip:目標(biāo)文件路徑
eg:
所以復(fù)制本地文件:c:\documents\foo.txt
到服務(wù)器example.com
用戶名是fred
到文件/tmp/foo
你的命令是:pscp c:\documents\foo.txt fred@example.com:/tmp/foo
通過這種方式可以將數(shù)據(jù)和代碼部署到服務(wù)器上,然而,在服務(wù)器中讀寫文件的過程中,可能會(huì)遇到讀寫權(quán)限不夠的問題,可以通過更改權(quán)限解決這個(gè)問題
eg:
sudo chmod 777 /home/pub/test
部署好一切后,就可以在本地操作服務(wù)器,讓服務(wù)器執(zhí)行程序啦
有說的不到位的地方或者有更好方法的,請(qǐng)大家不吝賜教啊!謝謝啦!