在linux上處理中文的時候，特別是自然語言這種頻繁讀寫中文到文件的情況，經(jīng)常會出錯，下面梳理總結(jié)一下。常用相關(guān)編碼有：文件編碼，文件內(nèi)容編碼，終端編碼，標準輸入輸出流編碼，操作系統(tǒng)編碼。

常出問題的是文件編碼與文件內(nèi)容編碼，有時候這兩個不一致會導(dǎo)致導(dǎo)入時，解碼出錯，可用vim設(shè)置:set fileencoding=xxx修改文件編碼。對于批量文件編碼修改，可用convmv工具(非系統(tǒng)自帶，一般需要安裝)

導(dǎo)致文件編碼與文件內(nèi)容編碼不一致的原因：

在數(shù)據(jù)流寫入文件時，會從fileencodings去逐個讀取，如果發(fā)現(xiàn)某個編碼能正常解析當前文件流，即當作該編碼，設(shè)置文件編碼為這個編碼；如果沒有找到合適的編碼，那么文件編碼就會被設(shè)置為空。在寫文件的時候，經(jīng)常會因為沒有設(shè)置fileencodings變量，而導(dǎo)致文件編碼為空。

解決辦法是：在寫入文件，如用iconv轉(zhuǎn)碼時，先set fileencodings=xxx,xxxx ，在操作寫入文件，這能從根本上解決問題。

問題影響：文件編碼和文件內(nèi)容編碼不一致，會導(dǎo)致在文件處理的時候解析異常。比如用python處理中文，讀取文件時，會默認以fileencoding的編碼打開，如果這個編碼不對，在腳本中，要decode的時候就會掛掉，即便文件內(nèi)容的編碼是正確的。如：文件內(nèi)容編碼是utf-8，而文件編碼是gb18030，python以gb18030打開文件，這時候，文件內(nèi)容已經(jīng)編碼異常了。。然后用decode('utf-8')時，拋出UnicodeDecodeError，接著一臉蒙x。。

下面總結(jié)下常用的轉(zhuǎn)碼方式：

文件內(nèi)容編碼用iconv 轉(zhuǎn)碼即可，用法就是iconv -f [原編碼] -t [目標編碼] file -o outfile 。需要注意的時，有時候文件里會有個別編碼錯誤的字節(jié)，導(dǎo)致后續(xù)內(nèi)容轉(zhuǎn)碼失敗，對這種情況，只要加上-c參數(shù)即可，也就是iconv -f [原編碼] -t [目標編碼] -c file -o outfile

查看文件編碼，可以用file命令，加參數(shù)-bi可獲得更精確的編碼，但是file查看的編碼經(jīng)常不準確，注意此坑。對應(yīng)單個的也可以用vim的encoding命令查看

操作系統(tǒng)編碼看環(huán)境變量LANG

在用python處理文件時，統(tǒng)一用unicode編碼處理。對于字符串，從文件讀入內(nèi)存時，會先按照文件編碼轉(zhuǎn)到標準輸入流編碼，所以處理中文字符串時，可用str.decode(sys.stdin.encoding)解碼到Unicode，可解決中文字符串的編碼問題

中文顯示異常問題：

經(jīng)常在用vim打開文件時，中文會亂碼，導(dǎo)致文件亂碼的一般是文件編碼，文件內(nèi)容編碼，vim編碼，iterm/scurecrt/其他終端 的編碼不一致，把這三個編碼修改成一樣的就可以了

當然，這么復(fù)雜的工序，很多同學(xué)都蒙了，人民群眾的力量是無窮的，需求就是用來解決的，這不，有個傳說中的工具enca，可以智能識別編碼，以及批量編碼轉(zhuǎn)化，具體使用，可以查找相關(guān)wiki或博客，有很多介紹。。。不。過。作為有g(shù)eek基因的青年，少了折騰，心里怎么會爽，因此不用這種工具，是上策（用原始方法能更深入理解操作系統(tǒng)編碼的原理，又能解決問題，又能漲姿勢，多好~）