一.R語言基礎
1.1 R的數據結構
向量、數據框、矩陣屬于最常用的R數據結構,關于基礎這里不多講，簡單概括一下
向量，簡單來說就是一維數組
矩陣，就是二維數組
數據框，簡單理解就是一張excel表，或者理解為關系型數據庫的table
1.2 數據讀取
讀取csv文件：
read.csv(file="",header=TURE,sep="",stringAsFactors=FALSE)
讀取文本文件：read.table()
從關系型數據庫里讀取數據
install.packages("RODBC") 如果安裝時報錯： sudo apt-get install unixODBC; sudo apt-get install unixODBC-dev
library(RODBC)
mydb <- odbcConnect("my_dsn",uid="username",pwd="password")
query <- "select * from …………"
df <- sqlQuery(channel=mydb,query,stringAsFactors=FALSE)
odbcClose(mydb)
二.數據探索
2.1 探索數據結構
以一個簡單的圖像識別數據為例
df <- read.csv("train.csv")
str(df)
'data.frame': 42000 obs. of 785 variables:
$ label : int 1 0 1 4 0 0 7 3 5 3 ...
$ pixel0 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel1 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel2 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel3 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel4 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel5 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel6 : int 0 0 0 0 0 0 0 0 0 0 ...
dim(df)
[1] 42000 785
head(df)
2.2 探索數值型變量以及變量關系
假設我們還不太了解這個數據的特征，那么我們如何進一步理解這些數據呢？首先我們先來看一下summary(df)
summary(df$label)
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.000 2.000 4.000 4.457 7.000 9.000
可以看到每一個特征的最大、最小、均值、中位數、25%、75%。
df$label是從0到9的數字，也就是我們的目標值
as.factor(df[,1])將label轉換為因子
其他列均為0-255的數字，共784列。
這里的數據是將手寫數字0-9的圖像轉換為二維矩陣存儲起來，即784=28*28，首列為數字標簽。
diff(range(df$pixel358)) 某列數據最大差值
IQR(df$pixel668) Q3-Q1
quantile(df$pixel771,probs = c(0.01,0.99)) 查看百分位數
可視化：
boxplot()
cov()
cor()
aggregate()
pairs()
plot()
CrossTable()
各種統(tǒng)計模型和視圖，包括3D散布圖、熱圖、等高圖等等以及方差、交叉表、分布模型……
2.3 探索分類變量
table(df$label) 頻率
prop.table(table(df$label)) 占比重
2.4 處理數據
這里的數據時手寫數字的圖像，我們嘗試將它轉化為圖像。
我們來看低40張數字：
im <- matrix(as.matrix(df[40,-1]),nrow = 28,ncol = 28)
image(1:28, 1:28, im, col=gray((0:255)/255))
圖像是個反著的數字4，很容易認出來。那個機器如何識別出來呢？
三.算法嘗試之隨機森林
分類算法多種多樣，我們可以選擇很多種分類器來做分類。這里我們嘗試一下隨機森林算法。
R里面有randomForest（局限性比較大）包，可以做簡單的隨機森林算法嘗試。party包也有cforest函數。
df <- read.csv("train.csv")
df$label <- as.factor(df$label)
ind <- sample(2,nrow(df),replace=TRUE,prob=c(0.8,0.2)) #隨機取樣，分為訓練數據80%與測試數據20%
trainData <- df[ind==1,]
testData <- df[ind==2,]
rf <- randomForest(label ~ .,data=trainData,ntree=50,proximity=TRUE) 70M數據，80%訓練數據，大概需要20多G內存，
plot(rf) #樹圖
importance(rf) #特征重要性
rfPred <- predict(rf,testData) #預測
table(rfPred,testData$label)
prop.table(table(rfPred,testData$label))
就是這樣一個簡單的流程，都沒用到自己寫什么優(yōu)化方案或者建模，測試分類正確率可以達到96%還多，對于新給的test.csv（大概50M測試數據，模型的表現可以達到96%的正確率）。當然，可以選擇的算法和優(yōu)化方案很多，上面寫的只是一個探索的流程。其實做一些優(yōu)化后，準確率可以達到99%。
四.算法嘗試之kNN
關于乳腺癌預測的數據
數據探索就簡單略過了，數據第一列沒什么用，刪除wbcd <- wbcd[-1]
第二列是因子（B,M），表示癌癥的陰性和陽性
剩余30個特征都是細胞的一些物理特征，算法的目的是通過細胞的特征來判斷癌癥的陰性和陽性
4.1 數據處理
wbcd <- read.table("wdbc.data",header = FALSE,sep = ",")
wbcd <- wbcd[-1]
因為kNN算法是依據距離來計算的，一般用歐式距離比較易懂。所以這里涉及到數據的轉換。
min-max標準化：(x-min(x))/(max(x)-min(x)) #把數值型數據轉換到0-1之間，必選數據范圍的影響
z-score標準化：(x-mean(x))/StdDev(x)
4.2 數據準備
library(class)
wbcd <- read.table("wdbc.data",header = FALSE,sep = ",")
wbcd <- wbcd[-1]
normalize <- function(x) {
return ((x-min(x))/(max(x)-min(x)))
}
wbcd_n <- as.data.frame(lapply(wbcd[,2:31],normalize))
ind <- sample(2,nrow(wbcd_n),replace = TRUE,prob = c(0.8,0.2))
wbcd_pred <- knn(train.data,test.data,wbcd[ind==1,1],k = 10)
CrossTable(x = wbcd_n[ind==2,1],wbcd_pred,prop.chisq = FALSE)
otal Observations in Table: 117
| wbcd_pred
wbcd[ind == 2, 1] | B | M | Row Total |
------------------|-----------|-----------|-----------|
B | 74 | 0 | 74 |
| 1.000 | 0.000 | 0.632 |
| 0.961 | 0.000 | |
| 0.632 | 0.000 | |
------------------|-----------|-----------|-----------|
M | 3 | 40 | 43 |
| 0.070 | 0.930 | 0.368 |
| 0.039 | 1.000 | |
| 0.026 | 0.342 | |
------------------|-----------|-----------|-----------|
Column Total | 77 | 40 | 117 |
| 0.658 | 0.342 | |
------------------|-----------|-----------|-----------|
還可以通過選擇k值，不同的數據標準化，不同的算法，不同的特征來優(yōu)化準確率。
