商業(yè)數(shù)據(jù)分析第二次課作業(yè)-0719

感謝 Dr.fish 的耐心講解和細(xì)致回答。

本次課的作業(yè)如下:

2016年美國大選數(shù)據(jù)分析


前言

拿到這次的題目,仿佛回到大學(xué)時代做大作業(yè)的心情,又興奮又怕怕。興奮于又能天馬行空的亂想亂玩了,但是又怕看到老師批作業(yè)時吹胡子瞪眼的怪表情。(.)

還記得課堂尾聲的時候,Dr.fish說:

真的是有非常認(rèn)真的在準(zhǔn)備數(shù)據(jù)的。

在現(xiàn)今雜亂的時代,能拿到一份如此干凈的數(shù)據(jù)是應(yīng)該抱有感恩的心情的。

確是如此,真的好感謝這種專業(yè)的態(tài)度,有這樣的伙伴,這個社群一定會越來越好(認(rèn)真臉)。當(dāng)然,我也定不會糊弄了事,認(rèn)真對待每次作業(yè),這是對老師最起碼的尊重以及感謝,我懂的,嗯。

嗯…作為一個活在自己小世界的技術(shù)白,不但沒關(guān)注過米國政治,甚至連《紙牌屋》也沒看過呢。不過說了要認(rèn)真對待,那就問問度娘放放狗,搞搞清楚米國的大選投票是個什么方法。但是讓人沮喪的是,經(jīng)過了左一榔頭又一棒子的查閱,還是沒找到完整的文獻(xiàn)來解釋這個方法(急于看數(shù)據(jù)的小白表示好心塞…嚶嚶嚶)。算了,掛白旗投降,還是把珍貴的時間用在有用的地方吧,總結(jié)下查到資料的共同點(diǎn):

總票數(shù)538張,來源有三:
  1. 眾議員(435人):根據(jù)各州人口密度計算每個州眾議員人數(shù);
  2. 參議員(100人):各州2名(沒研究怎么搞出來的);
  3. 特區(qū)票(3人):華盛頓特區(qū)不參與眾議員基數(shù)計算,恒定3張選票(一不留神就霸氣側(cè)漏了,嘖嘖);
投票方法:
  1. 具有投票權(quán)的民眾投出州議員(各州不等,共計435人);
  2. 州議員依據(jù)本州民眾對兩黨派的支持情況,將選票投給支持呼聲高的競選者;
  3. 參議員投票(這個沒看懂是自己隨便投還是也得聽老百姓的);
  4. 華盛頓特區(qū)3人投票。
獲勝方法:

獲得超過270票的被選人將成為新任總統(tǒng)。

不去考證這個方法對不對了(反正他們也不選我做總統(tǒng)(o_o)),姑且先按照這個來吧。

又啰哩吧嗦說這么一堆,下次改,下次改,吼吼。


說明

  1. 本次全部分析過程均遵循“前言”中描(zi)述(zhuan)的投票方法;
  2. 由于給出的數(shù)據(jù)存在缺失州(缺失12個州)情況,故會將眾議員票數(shù)做相應(yīng)刪減(以求相對精準(zhǔn)結(jié)果,請原諒患有尷尬癥的處女座小白);
  3. 由于未給出參議員及特區(qū)投票數(shù)據(jù),故本次僅針對各州支持情況對眾議員投票情況進(jìn)行分析預(yù)測。

為了提升可讀性,正文會依據(jù)分析報告方式撰寫(結(jié)論+佐證圖表)。所用函數(shù)會在相應(yīng)位置增加標(biāo)注,沒空看長篇大論的小伙伴可以直接翻閱代碼區(qū)塊。


哎,正經(jīng)說話真累~

-----

**聽說下面終于可以是正文了**

*本次要解決的問題:*
>1. 預(yù)測希望較大的候選人;
>2. 提升投票率方法建議。

*報告題綱:*
>1. 總體結(jié)論

>2. 統(tǒng)計部分

>3. 行動指南(建議)

-----------------------

## 總體結(jié)論 ##

###### 1. 截止目前,Hillary  支持率較大; ######

###### 2. 因 加利福尼亞、德克薩斯、佛羅里達(dá)、紐約 四個州參議員數(shù)量較多,且已投票人數(shù)較少,建議重點(diǎn)關(guān)注,以便于爭取大比重票數(shù)。######

----------------

### 正式開始代碼部分 ###

![導(dǎo)入分析包和數(shù)據(jù)包](http://upload-images.jianshu.io/upload_images/3948578-cb7d302cba3a8a01.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

#### 說明 ####
在整理`election_data.csv`時發(fā)現(xiàn) state 存在缺失(美國實際50個州,但`election_data.csv`中僅有38個州),在翻閱美國統(tǒng)計局網(wǎng)站(https://www.census.gov/data/tables/2016/demo/popest/nation-detail.html) 時,發(fā)現(xiàn)與給出數(shù)據(jù)存在誤差(統(tǒng)計局網(wǎng)站數(shù)據(jù)為2010年提取,計算得出2016年的數(shù)據(jù))。本次分析以給出數(shù)據(jù)源為準(zhǔn),統(tǒng)計局?jǐn)?shù)據(jù)僅供有效選民(年齡≥18歲)比例核算及參考。

>Note: 

>The estimates are based on the 2010 Census and reflect changes to the April 1, 2010 population due to the Count Question Resolution program and geographic program revisions. See Geographic Terms and Definitions at http://www.census.gov/popest/about/geo/terms.html for a list of the states that are included in each region.  All geographic boundaries for the 2016 population estimates series except statistical area delineations are as of January 1, 2016.  For population estimates methodology statements, see http://www.census.gov/programs-surveys/popest/technical-documentation/methodology/index.html.


通過`.info()`查看 **數(shù)據(jù)總條數(shù)** 、**字段類型** 及 **是否有缺失**
![.info 查看數(shù)據(jù)](http://upload-images.jianshu.io/upload_images/3948578-3eda1c5deeb0f747.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


通過`.head()`進(jìn)一步查看數(shù)據(jù)樣式

![.head 查看數(shù)據(jù)](http://upload-images.jianshu.io/upload_images/3948578-c4b191d818bca3d4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

通過`.columns`重新定義字段名,便于后面使用
重新執(zhí)行`.info`查看字段名是否定義成功

![.columns 重新定義列名](http://upload-images.jianshu.io/upload_images/3948578-df8001dca3e11144.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

-------------------------

## 統(tǒng)計部分 ##

### 美國人口整體情況 ###

#### 1. 各項分布 ####

通過`.describe()`計算基礎(chǔ)統(tǒng)計項,但是存在以下缺陷:

1. 由于`state_abb`為object格式,故無法得出結(jié)果;
2. `Hillary`、`Trump`、`popu`均需要做sum計算,故也無法得出結(jié)果。

綜上所述,需針對統(tǒng)計項分別計算

![.describe() 計算基礎(chǔ)統(tǒng)計項](http://upload-images.jianshu.io/upload_images/3948578-a15ae0b676a357a3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

啪啪啪~~ 敲黑板,前方進(jìn)入高能區(qū),請佩戴好安全帽。

##### 計算每個州包含的縣數(shù)量 #####

![計算每個州包含的縣數(shù)量](http://upload-images.jianshu.io/upload_images/3948578-e7f797a5cd116fe7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

###### 備注 ######
通過`.groupby() `對 state_abb 進(jìn)行分組,做`.count()`計數(shù)統(tǒng)計,得出每個州包含的縣數(shù)量。

`.state.count()` 用 `state` 進(jìn)行計數(shù)(未鍵入 `.state` 則對全字段進(jìn)行計數(shù))

>#### 小喇叭開始廣播啦: #####

>在此處,小白必須要非常認(rèn)真的跪拜一下 ** Tch.polo ** 

>話說這張圖小白真的是糾結(jié)了整整一下午,bar 一直在報 ValueError 的錯,真的是一直一直。小白笨拙的爬~墻出去放了一下午的狗也沒找到原因是什么,仿佛全世界的人都沒有遇到這個問題。無奈小白只好膽戰(zhàn)心驚的請教了Tch.polo,polo炒雞耐心的幫小白找bug,終于還是搞定啦~ 好嗨森  \\(^o^)/~


##### 計算樣本數(shù)據(jù)中州的數(shù)量 #####

![計算“州”數(shù)量](http://upload-images.jianshu.io/upload_images/3948578-9087b07c8a8819b5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

###### 備注 ######
兩次`.count()`對 state_abb 進(jìn)行計數(shù)

咦咦咦,怎么好像粥少了?誰動了米國的大米粥(⊙o⊙)
###### *注:事實上美國應(yīng)該是50個州,由此發(fā)現(xiàn)總數(shù)據(jù)存在缺失,需要進(jìn)行誤差矯正。 ######

##### 其他基礎(chǔ)統(tǒng)計項 #####


![其他基礎(chǔ)統(tǒng)計項](http://upload-images.jianshu.io/upload_images/3948578-e0c8f8375d303cfc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

###### 備注 ######
通過觀察對`election_data.csv`做的總體基礎(chǔ)統(tǒng)計,發(fā)現(xiàn)以下問題:
>1. state 總數(shù)與實際情況不相符(少了12個州);
>2. 總?cè)丝跀?shù)`定義待查(未投票人群占比90%,此數(shù)據(jù)不正常。美國憲法規(guī)定年滿18周歲公民具有投票權(quán),懷疑給出的總?cè)丝跀?shù)非≥18周歲人口數(shù))

另外,從目前支持率看,兩位參選者并沒有太懸殊的支持差異,一切努力都還來得及~
###### *注:雖然總州數(shù)存在缺失,但并不妨礙對有效州的計算,故先將基礎(chǔ)統(tǒng)計項進(jìn)行計算,后續(xù)進(jìn)行缺失州票數(shù)刪減。 ######

#### 2. 處理缺失州 ####

查看一下從統(tǒng)計局扒下來的數(shù)據(jù)

![查看數(shù)據(jù)](http://upload-images.jianshu.io/upload_images/3948578-1098bfd30f254512.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

蒼天吶,怎么又多出來一個州 (+_+)

原來是哥倫比亞特區(qū),嚇?biāo)励B~ (+_+) (+_+)

![查看數(shù)據(jù)](http://upload-images.jianshu.io/upload_images/3948578-0cf3358dc9d2e0e5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

趕緊刪掉它!


![.drop 刪除指定行](http://upload-images.jianshu.io/upload_images/3948578-f68d1c0280b918ff.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

快來看看具有投票權(quán)的樣本量有多少

![計算年齡≥18周歲人數(shù)及占比](http://upload-images.jianshu.io/upload_images/3948578-86455359488e211e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

###### 備注 ######
通過計算,發(fā)現(xiàn)美國全境人口中≥18周歲的人口大約占整體的77%。最簡單的方法是將此比例引入`election_data.csv`中計算樣本數(shù)據(jù)中具有投票權(quán)的樣本基數(shù)。

###### *注:理論上應(yīng)該獲取樣本州≥18周歲的人口數(shù)量,但考慮到`www.census.gov`也為推算數(shù)據(jù),故此處僅用比例帶入計算樣本數(shù)據(jù)
###### (好吧,小白承認(rèn)自己太懶太笨了,不知道該如何從全量州中抽取樣本州 /(ㄒoㄒ)/~。事實上正常的流程應(yīng)該是抽取樣本州的人數(shù)和計算的人數(shù)做 t 檢驗,查看差異性,若差異在可接受范圍內(nèi),那便可以用計算的方式。否則,繼續(xù)去滿世界的找數(shù)據(jù)源。crying……)

繼續(xù)觀察數(shù)據(jù),發(fā)現(xiàn)未投票人群占比將近9成(好吧,小白不得不承認(rèn),折騰了一溜兒夠后,未投票的比例并沒有特別明顯的差異。為此浪費(fèi)了一個晚上寶貴時間的小白默默的又走去了墻角思過…(π_π)),說明落后的參選者還是有很大機(jī)會扳回一局的。

![樣本中具有投票權(quán)人口數(shù)及未投票人數(shù)占比](http://upload-images.jianshu.io/upload_images/3948578-08028270b0d9e419.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


那么,接下來我們來看一下有效的樣本州應(yīng)該包含的票數(shù)是多少呢

#### 3. 更新樣本數(shù)據(jù) ####

##### 計算樣本數(shù)據(jù)參議員數(shù)量 #####

![計算樣本總體可擁有的有效票數(shù)(眾議員數(shù)量)](http://upload-images.jianshu.io/upload_images/3948578-616be5939c35e2e2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


![計算樣本各州可擁有的有效票數(shù)(眾議員數(shù)量)](http://upload-images.jianshu.io/upload_images/3948578-fa3873ec1a2fe847.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

如前文所述,眾議員票數(shù)為435張,經(jīng)過計算得出樣本州可擁有票數(shù)為380張,各州的數(shù)量有點(diǎn)兒多,也有點(diǎn)兒暈(不足一票是個什么鬼(@_@))。

還是搞張圖來看的清楚些

![各州有效票數(shù)](http://upload-images.jianshu.io/upload_images/3948578-abdb5a5a8fa83b5e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

加利福尼亞、德克薩斯、佛羅里達(dá)、紐約 四個州的選票幾乎占了樣本票數(shù)的40%,如果能穩(wěn)拿下它們應(yīng)該還挺爽的。那后面可以看一下每個州對兩位候選者支持的情況。

-------------

>--- 我是一塊不務(wù)正業(yè)的注釋 ---

>其實寫到此時此刻,小白的整個腦子已經(jīng)壞掉了。不是不知道后面該怎么分維度展示數(shù)據(jù),而是為什么 Python 這個工具讓小白用的這么難用啊/(ㄒoㄒ)/~ ,word 天,小白的腦子究竟是怎么長的?在密閉思過的時候,想起來干脆再認(rèn)真學(xué)習(xí)下 Dr.fish 的課堂筆記吧,看到最后那個散點(diǎn)圖還挺好玩的,那下面就溜個號,模仿散點(diǎn)圖看看這米國子民的學(xué)歷和收入到底有沒有關(guān)系 p(^o^)q 。


![平均學(xué)歷與收入相關(guān)性散點(diǎn)圖](http://upload-images.jianshu.io/upload_images/3948578-d942696c9dfdd4ed.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


先出了個散點(diǎn)圖,后來又計算了下相關(guān)系數(shù),看起來貌似正相關(guān),但是通過查看相關(guān)系數(shù),好像關(guān)系也不是特別強(qiáng)烈。

好吧,和天朝差不多,果然書讀多少并不能顯著的左右經(jīng)濟(jì)現(xiàn)狀(發(fā)現(xiàn)真相的小白心塞塞),嗯 (@_@)。

** --- 閑篇扯完,該繼續(xù)說正事兒了 --- **

---------

上一回書說到這 加、德、佛、紐 四大州眾議員數(shù)好多好多啊,怎么能拿下他們,還真是個問題。也不知道請吃飯好不好使,反正川大爺有的是錢,嘖嘖。

那我們先看看這些個州們的喜歡偏好吧


![各州支持情況](http://upload-images.jianshu.io/upload_images/3948578-01d5d0d342850cba.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

AUV~,怎么瞧著這四大州的票是要落入小希同學(xué)的口袋了呀,不知道川大爺看了這個數(shù)據(jù)會不會心塞,反正小白是覺得蠻好的,“半邊兒天” 終于要亮一次了,誰說我們女子不如男,吼吼~

不過還記得一開始的時候查看過投票的人數(shù)也就不到10%,那看看每個州都有多少人還沒投票吧


![各州未投票人群分布](http://upload-images.jianshu.io/upload_images/3948578-0aed65a95d3737ab.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


好家伙,這四大戶還這么老些人沒投票呢,看來是值得好好爭取爭取了。

再看看他們的平均學(xué)歷和收入情況(是的,小白就是來找刺激的)

![各州平均學(xué)歷](http://upload-images.jianshu.io/upload_images/3948578-2a690647ceb7273f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)



![各州平均收入](http://upload-images.jianshu.io/upload_images/3948578-d750af8a978c3fbc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


等等,馬里蘭州和新澤西州怎么平均收入這么高,這樣真的好嗎?他們有沒有想過我們的感受 (T_T)

最后再看看學(xué)歷 / 收入和支持率之間有沒有什么關(guān)系

##### 計算平均學(xué)歷與支持率關(guān)系 #####


![學(xué)歷和支持率關(guān)系](http://upload-images.jianshu.io/upload_images/3948578-4ce7caf6ce2d3ca7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

再驗證一下相關(guān)系數(shù)

![計算學(xué)歷和支持率的相關(guān)系數(shù)](http://upload-images.jianshu.io/upload_images/3948578-2d6e8c803cd0553e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

至少目前還看不出來學(xué)歷和支持傾向之間有什么關(guān)系。


##### 計算平均收入與支持率關(guān)系 #####

![收入和支持率關(guān)系](http://upload-images.jianshu.io/upload_images/3948578-d0eb253de3dde319.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

相關(guān)系數(shù)


![計算收入和支持率的相關(guān)系數(shù)](http://upload-images.jianshu.io/upload_images/3948578-95512fd35d47d8f7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

好吧,至少目前都看不出來學(xué)歷和收入對支持傾向有什么影響。

-------------------

#### 統(tǒng)計部分小結(jié)####

1. 樣本數(shù)據(jù)中共包含380個眾議員有效席位(票數(shù)過半,這些州的喜好已經(jīng)能說明一些問題了);
2. 有將近90%的有效選民未作出支持答復(fù)(扭轉(zhuǎn)的變數(shù)還很大,努力努力沒準(zhǔn)兒就江山易主了);
3. 加利福尼亞、德克薩斯、佛羅里達(dá)、紐約 四個州的選票幾乎占了樣本票數(shù)的40%(趁著投票的人還不多,趕緊做工作);
4. 整體看起來支持Hillary的州遠(yuǎn)多于支持Trump的州(川大爺,您要加油了);
5. 馬里蘭州和新澤西州平均收入特別高;
6. 學(xué)歷和收入對支持傾向沒有顯著影響。

------------

## 行動指南 ##

##### 1. 考慮目前 Hillary 在大州支持呼聲較高的現(xiàn)狀,建議可繼續(xù)主要進(jìn)行大州,輔以周邊州的拉票活動;
##### 2. 綜合考慮四個大州的地理位置,建議可以以紐約為中心,在美國東南 - 南部逐步開展拉票活動;
##### 3. 繼續(xù)觀察學(xué)歷及收入對支持傾向的影響,一點(diǎn)發(fā)生顯著性改變,隨時調(diào)整拉票線路。

-------------------------

** 尾聲 **

這篇作業(yè)終于寫完了,從查找資料到扣哧這些個圖,真真是花費(fèi)了好多好多時間,但是做出來的還是很不滿意。想想若是用平日里熟悉的軟件,恐怕用不了一個晚上就能完成,而且還會比這個做的更好,果然“技術(shù)小白”這頂帽子不是白帶的(T_T) 。通過本次學(xué)習(xí),小白又一次深刻的體會到自己的英語究竟有多爛,總是不能很懂幫助的支援(再次被事實狠狠打在臉上的小白已哭暈在墻角)。除此之外便是…不要把想法只放在腦子里,多動手去試,沒準(zhǔn)兒就試出來了(^_^)。工具便是那樣,越用越熟。

那么今天的作業(yè)就到這啦,希望閱卷老師不要?dú)獾穆N胡子呦,哈哈。







最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容