大數(shù)據(jù)的本質(zhì)還是為了用機(jī)器處理海量的數(shù)據(jù)

在大數(shù)據(jù)的生態(tài)中有各種工具來方便對數(shù)據(jù)的操作

其中hadoop算是一個核心

spark可以運(yùn)行在hadoop中的yarn上，就是集群，也可以單機(jī)運(yùn)行，還可以運(yùn)行在mos上

hive我的理解就是一個客戶端工具，寫好sql來對數(shù)據(jù)查詢分析

如果你學(xué)過py的pandas，那么其中datafrmae你應(yīng)該已經(jīng)理解了，可以把spark讀出來的數(shù)據(jù)類比于此

本質(zhì)就是對這個datafrmae進(jìn)行各種操作，查詢，過濾，聚合，

spark帶的機(jī)器學(xué)習(xí)庫就是，你把處理好的數(shù)據(jù)（或者叫篩選好的），調(diào)用spark的mlib庫就可以實(shí)現(xiàn)模型的訓(xùn)練，再將測試數(shù)據(jù)加載就可以訓(xùn)練

機(jī)器學(xué)習(xí)的算法有邏輯回歸，線性回歸，決策樹，聚類（kmeans）等