0.基本分析

Kaggle入門賽題，預測Titanic的乘客是否能夠獲救的問題，根據(jù)已有的獲救信息(train.csv)，預測test.csv中乘客的獲救情況，并將預測結果以gender_submission.csv 命名，上傳到Kaggle網(wǎng)站，gender_submission.csv 只包含PassengerId、survival兩列。

測試集和訓練集特征簡介：

其中，test.csv共有418條數(shù)據(jù)，train.csv共有891條數(shù)據(jù)。

1 特征工程

1.1 缺失值處理

將訓練集和測試集進行合并后，查看缺失情況

data = pd.concat([train,test])
data = data.drop('PassengerId',axis=1)
missing_data = data.isnull().sum().sort_values(ascending=False)

缺失值如下：

Cabin       1014
Survived     418
Age          263
Embarked       2
Fare           1
Ticket         0
SibSp          0
Sex            0
Pclass         0
Parch          0
Name           0
dtype: int64

針對不同的特征分別進行處理，其中Survived為測試集缺失數(shù)據(jù)，不需要要進行補充
Age：平均值(mean)
Embarked:眾數(shù)(mode)
Fare :中位數(shù)(median)
Cabin:貌似沒有什么用途，就把這個特征刪掉吧

# 填充眾數(shù)的數(shù)據(jù)列
column_mode = ['Embarked']
for column in column_mode :
    mode_val = data[column].mode()[0]
    data[column].fillna(mode_val, inplace=True)

# 填充平均值
column_avg = ['Age']
for column in column_avg :
    mean_val = data[column].mean()
    data[column].fillna(mean_val, inplace=True)

# 填充中位數(shù)
column_median = ['Fare']
for column in column_median:
    median_val = data['Fare'].median()
    data[column].fillna(median_val,inplace=True)

1.2 特征衍生

• 新增親人數(shù)量的特征，使用SibSp和Parch之和作為親人的數(shù)量
• 新增Cabin的相關特征cabin_exist，如果Cabin不為空，則為True，否則為False

fig = plt.figure()
fig.set(alpha=0.2)
survived_nocabin = train.Survived[train.Cabin.isnull()].value_counts()
survived_cabin = train.Survived[train.Cabin.notnull()].value_counts()
df = pd.DataFrame({'有值':survived_cabin, '無值':survived_nocabin}).T
df.plot(kind='bar',stacked=True)
plt.title('Cabin 有無值的獲救情況')
plt.xlabel('Cabin 有無值')
plt.ylabel('人數(shù)')
plt.show()

Cabin 是否有值獲救的情況分析

• 將離散型的特征兩兩組合

  data['relative'] = data.apply(lambda  x : (int(x['SibSp']) + int(x['Parch'])) , axis=1)
  data['cabin_exist']  = data['Cabin'].notnull()
    
  # 隨機特征
  columns = ['Embarked','Pclass','Sex','cabin_exist']
  
  total = len(columns)
  for index1 in range(total):
      for index2 in range(index1+1,total):
          print("{}_{}".format(columns[index1],columns[index2]))
          data["{}_{}".format(columns[index1],columns[index2])] = data.apply(lambda x:"{}_{}".format(x[columns[index1]],x[columns[index2]]),axis=1)
  

1.3 特征分箱

• Age 分箱

   # 對Age分箱
  bins=[0,18,60,100]
  data['age_area'] = pd.cut(data['Age'],bins,labels=['child','adult','old'])
  

• Fare 分箱

  # 對Fare分箱
  bins = [-1,100,300,600]
  data['fare_cut'] = pd.cut(data['Fare'],bins,labels=['one','two','three'])
  

1.4 特征轉換

• labelEncoder編碼

  column_label = ['Embarked','Sex','cabin_exist','age_area','fare_cut','Embarked_Pclass','Embarked_Sex','Embarked_cabin_exist','Pclass_Sex','Pclass_cabin_exist','Sex_cabin_exist']
  le = LabelEncoder()
  for col in column_label:
      data[col] = le.fit_transform(data[col])
  

• one_hot編碼

  column_dummies = ['Embarked','Sex','cabin_exist','age_area','fare_cut','Pclass','Embarked_Pclass','Embarked_Sex','Embarked_cabin_exist','Pclass_Sex','Pclass_cabin_exist','Sex_cabin_exist']
  data = pd.get_dummies(data, columns=column_dummies)
  

• 標準化

  column_sc = ['Fare','Age','relative','Parch','SibSp']
  for column in column_sc:
      temp = data[column]
      MAX = temp.max()
      MIN = temp.min()
      d = data[column].apply(lambda x : (x - MIN) / (MAX - MIN))
      data = data.drop(column, axis=1)
      data[column] = d
  

做到這里，基本上能想到的事情都做完了，接下來就直接預測吧

2 模型預測

首先，將我們訓練集和合并集合并后的數(shù)據(jù)集拆分

# 將訓練集和測試進行拆分
data_test = data[data['Survived'].isnull()]
data_test = data_test.drop(['Survived'],axis=1)
data_train=  data[data['Survived'].notnull()]

然后，將訓練集拆分成訓練集和驗證集

# 將訓練集拆分為訓練集和驗證集
X_train, X_test, y_train, y_test = train_test_split(data_train_X, data_train_y, test_size=0.2, random_state=0)

最后選擇預測模型，分類問題，首選LogisticRegression模型

# 使用LogisticRegression訓練模型
from sklearn.linear_model import LogisticRegression
random_state = 2019
lr = LogisticRegression(random_state=random_state)
lr.fit(X_train,y_train)

通過驗證集，驗證訓練模型準確率

# 使用模型預測驗證集，并使用accuracy_score方計算準確率
from sklearn.metrics import accuracy_score
data_test_hat = lr.predict(X_test)
score = accuracy_score(y_test,data_test_hat)

驗證集的accuracy為：0.8044692737430168
那就預測最終的結果吧，

data_predict = lr.predict(data_test)

并將預測結果合并成最終的提交結果

data = pd.DataFrame({'PassengerId':passengerId,'Survived':result},dtype=np.int64)
data.to_csv('result/01.Titanic Machine Learning from Disaster/gender_submission.csv.{}'.format(name),index=False)

3.上傳結果

高高興的提交，發(fā)現(xiàn)，準確率：0.78468 排名大概4000以后吧，看看排在第一的隊伍到底是多少，準確率是：1.0 居然全部都預測正確了。but 沒有那么簡單，知道我發(fā)現(xiàn)《How to get a 1.000 》 可以在Titanic Survivors 網(wǎng)站 根據(jù)相關信息查找到測試數(shù)據(jù)集的目標特征 ,,???,,

第一次提交結果

還是繼續(xù)努力提高吧！

參考鏈接：
1.How to get a 1.000
2.Titanic Survivors
3.Learning from the disaster: 99% Accuracy
4.Titanic: Machine Learning from Disaster