一.常見編碼

ASCII：使用單個(gè)字節(jié)表示字符，最高位為0，最多能表示128個(gè)字符（數(shù)字+字母+特殊符號(hào)）
GB2312：使用兩個(gè)字節(jié)表示字符，兼容ASCII編碼，能表示中文
Unicode：通常用兩個(gè)字節(jié)表示字符，表示多種語言
UTF-8：針對 Unicode的一種可變長度字符編碼，用一到四個(gè)字節(jié)表示字符，兼容ASCII編碼，能表示多種語言

二.python2編碼

1.字符串類型
str：一般都為str類型，類似bytes，該類型的字符串decode()后為unicode類型
unicode：使用'u'聲明或使用unicode()函數(shù)創(chuàng)建字符串，該類型的字符串encode()后得到str類型

2.類型轉(zhuǎn)換關(guān)系圖

3.查看python2默認(rèn)編碼

>>> import sys
>>> reload(sys)
<module 'sys' (built-in)>
>>> sys.getdefaultencoding()
'ascii'

sys.setdefaultencoding()設(shè)置默認(rèn)編碼

4.檢測創(chuàng)建字符串編碼

>>> import chardet
>>> a='a'
>>> type(a)
<type 'str'>
>>> chardet.detect(a)
{'confidence': 1.0, 'language': '', 'encoding': 'ascii'}
>>> a='測試'
>>> chardet.detect(a)
{'confidence': 0.7525, 'language': '', 'encoding': 'utf-8'}

默認(rèn)的當(dāng)字符串為數(shù)字字母或特殊符號(hào)為ASCII編碼，包含中文為UTF-8編碼

三.python3默認(rèn)編碼

1.字符串類型
str：類似python2 unicode類型，該類型的字符串encode()后得到bytes類型
bytes：類似pytho2 str類型，該類型的字符串decode()后為str類型
bytearray：可變的整數(shù)序列

2.查看python3默認(rèn)編碼

>>> import sys
>>> sys.getdefaultencoding()
'utf-8'

sys.setdefaultencoding()設(shè)置默認(rèn)編碼

四.實(shí)例

python3爬蟲requests.get解析到的HTML是似Unicode類型的字符串

>>> import requests
>>> url = r'https://s.search.bilibili.com/cate/search?callback=jqueryCallback_bili_8033182213391138&main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=163&page=1&pagesize=100&jsonp=jsonp&time_from=20191001&time_to=20191031&_=1570496516751'

>>> res_html=requests.get(url).content    #content屬性返回的二進(jìn)制數(shù)據(jù)
>>> type(res_html)
'<class 'bytes'>'
>>> print(res_html)
b'tag:\\u7bee\\u7403,\\u4f53\\u80b2'    #截取片段
>>> print(res_html.decode('unicode-escape'))    #將類型為bytes含unicode編碼的字符串解碼為中文
'tag:籃球,體育'

>>> res_html=requests.get(url).text    #text屬性返回的是Unicode類型數(shù)據(jù)
'<class 'str'>'
>>> print(res_html)
'tag:\\u7bee\\u7403,\\u4f53\\u80b2'     #截取片段
>>> print(res_html.encode().decode('unicode-escape'))    #將類型轉(zhuǎn)換成bytes再解碼unicode為中文
'tag:籃球,體育'