前言

最近在學(xué)習(xí)python數(shù)據(jù)統(tǒng)計(jì)相關(guān)的知識(shí)，基于‘實(shí)踐出真知’以及‘知之者不如好之者,好之者不如樂(lè)之者’兩大亙古不變的理論，特撰寫(xiě)本文。

統(tǒng)計(jì)結(jié)果

為了滿足部分同學(xué)強(qiáng)烈的好奇心，小碼哥先將部分統(tǒng)計(jì)結(jié)果公布出來(lái)。若想了解詳細(xì)操作流程且有一定python基礎(chǔ)的同學(xué)可以繼續(xù)閱讀。

部分統(tǒng)計(jì)結(jié)果

數(shù)據(jù)分析

數(shù)據(jù)獲取

本次小碼哥使用的數(shù)據(jù)是問(wèn)度娘要來(lái)的，不想麻煩的同學(xué)可以直接用小碼哥的數(shù)據(jù)(點(diǎn)擊下載)

數(shù)據(jù)讀入

數(shù)據(jù)下載到本地后，用python內(nèi)置函數(shù)open() 將數(shù)據(jù)讀入

    fr = open('數(shù)據(jù)文件路徑','r')
    characters = [] #存儲(chǔ)所有漢字
    stat = {}   #存儲(chǔ)每個(gè)漢字出現(xiàn)的次數(shù)

數(shù)據(jù)處理

由于原數(shù)據(jù)中含有大量標(biāo)點(diǎn)符號(hào)、空白、換行等，為了不影響分析結(jié)果我們應(yīng)該先把這些雜質(zhì)剔除。

    for line in fr:
        # 去掉每一行兩邊的空白
        line = line.strip()
        # 如果為空行則跳過(guò)該輪循環(huán)
        if len(line) == 0:
            continue
        # 將文本轉(zhuǎn)為unicode，便于處理漢字
        line = unicode(line)
        # 遍歷該行的每一個(gè)字
        for x in xrange(0, len(line)):
            # 去掉標(biāo)點(diǎn)符號(hào)和空白符
            if line[x] in [' ', '\t', '\n', '。', '，', '(', ')', '（', '）', '：', '□', '？', '！', '《', '》', '、', '　',']', '；', '“', '”', '……']:
                continue
            # 尚未記錄在characters中
            if not line[x] in characters:
                characters.append(line[x])
            # 尚未記錄在stat中
            if not stat.has_key(line[x]):
                stat[line[x]] = 0
            # 漢字出現(xiàn)次數(shù)加1
            stat[line[x]] += 1

數(shù)據(jù)輸出

為了便于觀察，小碼哥將結(jié)果輸出為一個(gè).csv 文件(可導(dǎo)入Excel)

    # lambda生成一個(gè)臨時(shí)函數(shù)
    # d表示字典的每一對(duì)鍵值對(duì)，d[0]為key，d[1]為value
    # reverse為True表示降序排序
    stat = sorted(stat.items(), key=lambda d:d[1], reverse=True)
    fw = open('result.csv', 'w')
    for item in stat:
        # 進(jìn)行字符串拼接之前，需要將int轉(zhuǎn)為str
        fw.write(item[0] + ',' + str(item[1]) + '\n')

后記

• 鑒于有熱心同學(xué)在評(píng)論里建議小碼哥生成詞云，小碼哥很愉快的采納了這個(gè)建議，后續(xù)將上傳。
• 閱讀完本文，你有什么感受或建議都可以寫(xiě)在評(píng)論里讓小碼哥知道，小碼哥看到后會(huì)第一時(shí)間回復(fù)。
• 若大家覺(jué)得本篇文章還不錯(cuò)，麻煩在右下角給小碼哥點(diǎn)個(gè)喜歡，鼓勵(lì)小碼哥繼續(xù)創(chuàng)作！