今天老徐在小密圈提問(wèn)，如何做大數(shù)據(jù)測(cè)試。我就自己以前做運(yùn)維時(shí)，接觸到的一些知識(shí)，做了簡(jiǎn)單的說(shuō)明，這些也都是自己實(shí)踐過(guò)，想要表達(dá)的東西。
大數(shù)據(jù)運(yùn)維，通俗來(lái)說(shuō)就是對(duì)集群健康的監(jiān)控；各種與集群相關(guān)組件的使用，如? hive，hbase，spark，zookeeper,redis,pig,solr,kafka,flume等，都屬于運(yùn)維的范疇；數(shù)據(jù)庫(kù)的備份；服務(wù)器的硬件信息（cpu、內(nèi)存等）等等，都是運(yùn)維的工作。
以前做運(yùn)維的時(shí)候，接觸過(guò)大數(shù)據(jù)方面的測(cè)試。主要接觸的有兩方面：1.大數(shù)據(jù)平臺(tái)的測(cè)試? 2.針對(duì)大數(shù)據(jù)平臺(tái)所存儲(chǔ)數(shù)據(jù)的測(cè)試。
一、大數(shù)據(jù)平臺(tái)測(cè)試：一般是對(duì)集成環(huán)境測(cè)試，簡(jiǎn)單來(lái)說(shuō)，就是有一個(gè)平臺(tái)，可以統(tǒng)一管理集群中各項(xiàng)指標(biāo)。
1.登錄監(jiān)控管理系統(tǒng)；
2.查看系統(tǒng)各項(xiàng)指標(biāo)，包括但不限于：
主機(jī)節(jié)點(diǎn)：主機(jī)名稱、CPU、內(nèi)存、網(wǎng)絡(luò)等參數(shù)等；
HDFS: HDFS文件系統(tǒng)塊總數(shù)、總大小、文件總數(shù)、剩余量、損壞塊等；
Mapreduce:任務(wù)運(yùn)行情況，任務(wù)占資源情況等；
清單查詢集群：RegionServer的請(qǐng)求次數(shù)以及RegionServer Regions數(shù)目等；
YARN：Current Applications、Finished Applications、NodeManagers；
系統(tǒng)運(yùn)行日志；
3. 能通過(guò)界面對(duì)主機(jī)、服務(wù)進(jìn)行日常的運(yùn)維、管理等操作。包括但不限于：
對(duì)服務(wù)、集群等進(jìn)行啟停操作；
對(duì)服務(wù)、集群的參數(shù)及配置項(xiàng)進(jìn)行管理；
對(duì)系統(tǒng)資源進(jìn)行管理及人工調(diào)整；
對(duì)于安全訪問(wèn)的審計(jì)功能支持；等。
二、數(shù)據(jù)方面的測(cè)試：利用hive，對(duì)數(shù)據(jù)進(jìn)行處理。通過(guò)ETL調(diào)度工具，可以對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換等。做過(guò)一段時(shí)間的升級(jí)工作，將oracle的存儲(chǔ)過(guò)程，修改為適用于大數(shù)據(jù)平臺(tái)的hivesql。還有相關(guān)的數(shù)據(jù)在集群中導(dǎo)入導(dǎo)出、集群個(gè)組件的應(yīng)用測(cè)試、sql查詢的性能測(cè)試（以前寫的腳本，跑了一天一夜，數(shù)據(jù)還是沒(méi)跑出來(lái)。還有因?yàn)橐粋€(gè)腳本寫的不合理，導(dǎo)致集群卡死），相關(guān)sql優(yōu)化（數(shù)據(jù)傾斜，空字段、笛卡爾積、布爾值）。 還有對(duì)ETL調(diào)度工具的使用。
hivesql、sparksql? 與mysql? 個(gè)人感覺(jué)差不多，可以看看官方文檔的介紹。
現(xiàn)在對(duì)數(shù)據(jù)處理分為兩個(gè)方向：實(shí)時(shí)與非實(shí)時(shí)。? 實(shí)時(shí)的一般用kafka+flume? ,非實(shí)時(shí)的一般用hive。還有對(duì)數(shù)據(jù)處理比較快的spark(走內(nèi)存)，ETL調(diào)度工具：抽取（extract）、轉(zhuǎn)換（transform）、加載（load），以前公司自己研發(fā)的ETL調(diào)度工具，可以對(duì)任務(wù)進(jìn)行定時(shí)處理，ETL（主要配置一些sql，定時(shí)觸發(fā)）和HADOOP集群結(jié)合，完美搭檔。
除了以上之外，還要對(duì)Linux玩的比較好，查日志，動(dòng)態(tài)打印日志，備份數(shù)據(jù)庫(kù)，vi編輯器，寫shell腳本，啟定時(shí)任務(wù)，對(duì)服務(wù)器內(nèi)存、CPU的監(jiān)控，會(huì)搭建各種環(huán)境（Java，mysql，redis，tomcat,jmeter 甚至集群的搭建），修改配置文件，替換jar包等 。
待續(xù)吧
