缺失值的處理有3種：不處理（做建模鐵定不選），刪除(可以考慮)，數(shù)據(jù)補(bǔ)差（99%的同僚選擇）
而補(bǔ)差的方式主要用下面的5類，重點(diǎn)是第五個(gè)，插值法
1. 補(bǔ)插均值/中位數(shù)/眾數(shù)
2. 使用固定值 .
3. 最近鄰補(bǔ)插
4. 回歸方法
5. 插值法
插值法又包含好多種：（1）拉格朗日插值法（最容易看的懂的，用的人較多，用錯(cuò)的也多）（2）牛頓插值法（3）Hermite插值 （4）分段插值 （5）樣條插值 （后三種相對(duì)用的較少）
（1）拉格朗日插值法（劃重點(diǎn)）
其原理百度就是構(gòu)建一個(gè)多項(xiàng)式，這個(gè)多項(xiàng)式很厲害，假如說(shuō)我們的數(shù)據(jù)是城市里的銀行位置坐標(biāo)，那這個(gè)多項(xiàng)式就是一條過(guò)所有銀行的公路，所以，當(dāng)我們要問(wèn)50km外的銀行在哪兒時(shí)，我們順著這條路算就可以算出來(lái)。當(dāng)然，算出來(lái)的坐標(biāo)只是一個(gè)近似值。（當(dāng)給出的已知銀行坐標(biāo)點(diǎn)越多，近似誤差越?。?br> 關(guān)于拉格朗日多項(xiàng)式的構(gòu)建原理，這里不說(shuō)了，百度各種解釋，這里只說(shuō)一下它的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)就是過(guò)程簡(jiǎn)單，很容易找到插值，而且還是唯一的。缺點(diǎn)也明顯，就是當(dāng)已知的點(diǎn)很多時(shí)候，階數(shù)也會(huì)很高，所以不適合插那些百十來(lái)個(gè)數(shù)據(jù)點(diǎn)的題。處理十來(lái)個(gè)的還是很好的。（我個(gè)人建議還是用牛頓）
（2）牛頓插值法8
相比較與拉格朗日，其優(yōu)點(diǎn)是當(dāng)新增加插值點(diǎn)時(shí)，得到的擬合函數(shù)變化不大。其原理解釋還是看百度或者找老師問(wèn)吧，我的理解就是從第一個(gè)插值點(diǎn)開(kāi)始修路，每修到一個(gè)銀行就進(jìn)行一次校正（高階差商我的理解），然后這樣的話插未知點(diǎn)就準(zhǔn)一點(diǎn)。所以用的比較多吧也。

舉例1：向量類型判斷缺失值is.na和缺失值的填補(bǔ)which

(x<-c(1,2,3,NA))

is.na(x) #返回一個(gè)邏輯向量，TRUE為缺失值，F(xiàn)ALSE為非缺失值

table(is.na(x)) #統(tǒng)計(jì)分類個(gè)數(shù)

sum(x) #當(dāng)向量存在缺失值的時(shí)候統(tǒng)計(jì)結(jié)果也是缺失值

sum(x,na.rm = TRUE) #很多函數(shù)里都有na.rm=TRUE參數(shù)，此參數(shù)可以在運(yùn)算時(shí)移除缺失值

(x[which(is.na(x))]<-0) #可以用which()函數(shù)代替缺失值，which()函數(shù)返回符合條件的響應(yīng)位置

舉例2：數(shù)據(jù)框類型判斷缺失值is.na、缺失值的填補(bǔ)which、缺失值所在行的刪除na.omit

(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))

is.na(test) #test中空值的判斷

which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相應(yīng)行列坐標(biāo)

test[which(is.na(test),arr.ind = T)]<-0 #結(jié)合which進(jìn)行缺失替代

(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函數(shù)可以直接刪除值所在的行

舉例3：識(shí)別缺失值的基本語(yǔ)法匯總

str(airquality)

complete.cases(airquality) #判斷個(gè)案是否有缺失值

airquality[complete.cases(airquality),] #列出沒(méi)有缺失值的行

nrow(airquality[complete.cases(airquality),]) #計(jì)算沒(méi)有缺失值的樣本量

airquality[!complete.cases(airquality),] #列出有缺失的值的行

nrow(airquality[!complete.cases(airquality),]) #計(jì)算有缺失值的樣本量

is.na(airquality$Ozone) #TRUE為缺失值，F(xiàn)ALSE為非缺失值

table(is.na(airquality$Ozone))

complete.cases(airquality$Ozone) #FALSE為缺失值，TRUE為非缺失值

table(complete.cases(airquality$Ozone))

可用sum()和mean()函數(shù)來(lái)獲取關(guān)于缺失數(shù)據(jù)的有用信息

sum(is.na(airquality$Ozone)) #查看缺失值的個(gè)數(shù)

sum(complete.cases(airquality$Ozone)) #查看沒(méi)有缺失值的個(gè)數(shù)

mean(is.na(airquality$Ozone)) #查看缺失值的占比

mean(is.na(airquality)) #查看數(shù)據(jù)集airquality中樣本有缺失值的占比

舉例4：探索缺失值模式

列表缺失值探索

library(mice)

md.pattern(airquality)

圖形缺失值探索

library(VIM)

aggr(airquality,prop=FALSE,number=TRUE)

aggr(airquality,prop=TRUE,number=TRUE) #生成相同的圖形，但用比例代替了計(jì)數(shù)

aggr(airquality,prop=FALSE,number=FALSE) #選項(xiàng)numbers = FALSE（默認(rèn)）刪去數(shù)值型標(biāo)簽

舉例5：刪除缺失值

airquality[complete.cases(airquality),] #方法一：刪除缺失值行

na.omit(airquality) #方法二：刪除缺失值的行

舉例6：缺失值回歸模型插補(bǔ)

newnhanes2<-nhanes2

sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2數(shù)據(jù)集中第4列NA的行標(biāo)識(shí)

datatr<-newnhanes2[-sub,] #方法一：將第4列不為NA的數(shù)存入數(shù)據(jù)集datatr中

datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二：將第4列不為NA的數(shù)存入數(shù)據(jù)集datatr中

datate<-newnhanes2[sub,] #方法一：將第4列為NA的數(shù)存入數(shù)據(jù)集datate中

datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二：將第4列為NA的數(shù)存入數(shù)據(jù)集datate中

fit<-lm(chl~age,data = datatr) #利用datatr中age為自變量，chl為因變量構(gòu)建線性回歸模型lm

newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中數(shù)據(jù)按照模型fit對(duì)nhanes2中chl中的缺失數(shù)據(jù)進(jìn)行預(yù)測(cè)

舉例7：缺失值隨機(jī)森林插補(bǔ)

library(missForest)

z<-missForest(airquality) #用隨機(jī)森林迭代彌補(bǔ)缺失值

air.full<-z$ximp

zz<-missForest(nhanes2)

nhanes2.full<-zz$ximp

舉例8：線性回歸模型插補(bǔ)

mice::md.pattern(airquality)

index1<-is.na(airquality$Ozone) #對(duì)Ozone變量進(jìn)行缺失值處理

dput(colnames(airquality)) #求出變量列名稱

Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #訓(xùn)練集，需注意什么時(shí)候用!,什么時(shí)候用-

Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #測(cè)試集

fit<-lm(Ozone~.,data = Ozone_train) #建立線性回歸模型

summary(fit)

airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )

index2<-is.na(airquality$Solar.R) #Solar.R變量進(jìn)行缺失值處理,Ozone變量數(shù)據(jù)已補(bǔ)齊

Solar.R_train<-airquality[!index2,] #訓(xùn)練集

Solar.R_test<-airquality[index2,] #測(cè)試集

Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)

summary(Solar.R_fit)

airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)

mice::md.pattern(airquality)

舉例：knn和bag缺失值插補(bǔ)(利用caret包中的preProcess函數(shù)，method參數(shù)有多種方式可選)

question<-read.csv("問(wèn)卷調(diào)研數(shù)據(jù).csv")

question<-question[,-1]

str(question)

for(i in 1:ncol(question)){

question[,i]<-as.factor(question[,i])

} #批量修改為因子類型

str(question)

舉例9：利用KNN算法進(jìn)行缺失值插補(bǔ)(只能對(duì)數(shù)值型變量處理)

question<-read.csv("問(wèn)卷調(diào)研數(shù)據(jù).csv")

question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索

library(caret)

knn.model<-preProcess(question,method = "knnImpute") #KNN處理數(shù)值型數(shù)據(jù)(歐式距離),不能處理因子型數(shù)據(jù)

question1<-predict(knn.model,newdata = question)

install.packages("RANN")

mice::md.pattern(question1)

table(question1$性別) #不是之前的1和2了

table(question$性別)

最后結(jié)果：knn不適合處理該數(shù)據(jù)，需要做啞變量處理，再套模型

舉例10：利用袋裝算法進(jìn)行缺失值插補(bǔ)(只能對(duì)數(shù)值型變量處理)

question<-read.csv("問(wèn)卷調(diào)研數(shù)據(jù).csv")

question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索

library(caret)

bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立

install.packages("ipred")

question2<-predict(bag.model,question) #預(yù)測(cè)結(jié)果

mice::md.pattern(question2) #列表缺失值探索

table(question2$性別)

最后結(jié)果：bag算法不適合處理該數(shù)據(jù)