collections模塊

在內(nèi)置數(shù)據(jù)類(lèi)型（dict、list、set、tuple）的基礎(chǔ)上，collections模塊還提供了幾個(gè)額外的數(shù)據(jù)類(lèi)型：Counter、deque、defaultdict、namedtuple和OrderedDict等。
1、namedtuple：生成可以使用名字來(lái)訪問(wèn)元素內(nèi)容的tuple
2、deque：雙端隊(duì)列，可以快速的從另外一側(cè)追加和推出對(duì)象
3、Counter：計(jì)數(shù)器，豬獒用來(lái)技術(shù)
4、orderdDict：有序字典
5、defaultdict：帶有默認(rèn)值得字典

namedtuple

我們知道tuple可以表示不變集合，列如，一個(gè)點(diǎn)的二維坐標(biāo)就可以表示成：

>>>p = (1,2)

但是，看到(1,2)，很難看出這個(gè)tuple是用來(lái)表示一個(gè)坐標(biāo)的。
這是，namedtuple就派上了用場(chǎng):

>>>from collections import namedtuple
>>>Point = namedtuple('Point',['x', 'y'])
>>>p = Point(1,2)
>>>p.x
1
>>>p.y
2

類(lèi)似的，如果要用坐標(biāo)和半徑表示一個(gè)圓，也可以用namedtuple定義：

#namedtuple('名稱',[屬性list])
Circle = namedtuple('Circle',['x', 'y', 'r'])

deque

使用list存儲(chǔ)數(shù)據(jù)時(shí)，安索引訪問(wèn)元素很快，但是插入和是刪除元素就會(huì)很慢，因?yàn)閘ist是線性存儲(chǔ)，數(shù)據(jù) 量大的時(shí)候，插入和刪除效率很低。

deque是為了高效率實(shí)現(xiàn)插入和刪除造作的雙向列表 ，是哦用于隊(duì)列和棧：

>>> from collections import deque
>>> q = deque(['a', 'b', 'c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])

deque除了實(shí)現(xiàn)list的append()和pop()外，還支持appendleft()和popleft()，這樣就可以非常高效地往頭部添加或刪除元素。

OrderedDict

使用dict時(shí)，Key是無(wú)序的。在對(duì)dict做迭代時(shí)，我們無(wú)法確定Key的順序。

如果要保持Key的順序，可以用OrderedDict：

>>> from collections import OrderedDict
>>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>>> d # dict的Key是無(wú)序的
{'a': 1, 'c': 3, 'b': 2}
>>> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)])
>>> od # OrderedDict的Key是有序的
OrderedDict([('a', 1), ('b', 2), ('c', 3)])

注意，OrderedDict的Key會(huì)按照插入的順序排列，不是Key本身排序：

>>> od = OrderedDict()
>>> od['z'] = 1
>>> od['y'] = 2
>>> od['x'] = 3
>>> od.keys() # 按照插入的Key的順序返回
['z', 'y', 'x']

defaultdict

有如下之集合 [11,22,33,44,55,66,77,88,99...] ，將所有大于66的值保存至字典的第一個(gè)key中，將小于66的值保存于第二個(gè)key的值中。

即：{‘key1’: 大于66，‘key2’: 小于66}

原生種子點(diǎn)解決方法：

values = [11, 22, 33,44,55,66,77,88,99,90]

my_dict = {}

for value in  values:
    if value>66:
        if my_dict.has_key('k1'):
            my_dict['k1'].append(value)
        else:
            my_dict['k1'] = [value]
    else:
        if my_dict.has_key('k2'):
            my_dict['k2'].append(value)
        else:
            my_dict['k2'] = [value]

defaultdict字典解決方法：

from collections import defaultdict

values = [11, 22, 33,44,55,66,77,88,99,90]

my_dict = defaultdict(list)

for value in  values:
    if value>66:
        my_dict['k1'].append(value)
    else:
        my_dict['k2'].append(value)

使用dict時(shí)，如果引用的Key不存在，就會(huì)跑出KeyError。如果希望key不存在時(shí)，返回一個(gè)默認(rèn)值，就可以用defaultdict：

>>> from collections import defaultdict
>>> dd = defaultdict(lambda: 'N/A')
>>> dd['key1'] = 'abc'
>>> dd['key1'] # key1存在
'abc'
>>> dd['key2'] # key2不存在，返回默認(rèn)值
'N/A'

Counter

Counter類(lèi)的目的是用來(lái)跟蹤值出現(xiàn)的次數(shù)。它是一個(gè)無(wú)序的容器類(lèi)型，以字典的鍵值對(duì)形式存儲(chǔ)，其中元素作為key，其計(jì)數(shù)作為value。計(jì)數(shù)值可以是任意的Interger（包括0和負(fù)數(shù)）。Counter類(lèi)和其他語(yǔ)言的bags或multisets很相似。

c = Counter('abcdeabcdabcaba')
print c
輸出：Counter({'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1})

時(shí)間模塊

和時(shí)間有關(guān)系的我們就要用到時(shí)間模塊。在使用模塊之前，應(yīng)該先導(dǎo)入這個(gè)模塊。

常用方法

1.time.sleep(secs)
(線程)推遲指定的時(shí)間運(yùn)行。單位為秒。
2.time.time()
獲取當(dāng)前時(shí)間戳

表示時(shí)間的三種方式

在Python中，通常由這三種方式來(lái)表示時(shí)間：時(shí)間戳、元組(struct_time)、格式化的時(shí)間字符串。
(1)時(shí)間戳(timestamp)：通常來(lái)說(shuō)，時(shí)間戳表示的是從1970年1月1日00:00:00開(kāi)始按秒計(jì)算的偏移量。我們運(yùn)行“type(time.time())”,返回的是float類(lèi)型。
(2)格式化的時(shí)間字符串(Format String)：'1999-12-16'

%y 兩位數(shù)的年份表示（00-99）
%Y 四位數(shù)的年份表示（000-9999）
%m 月份（01-12）
%d 月內(nèi)中的一天（0-31）
%H 24小時(shí)制小時(shí)數(shù)（0-23）
%I 12小時(shí)制小時(shí)數(shù)（01-12）
%M 分鐘數(shù)（00=59）
%S 秒（00-59）
%a 本地簡(jiǎn)化星期名稱
%A 本地完整星期名稱
%b 本地簡(jiǎn)化的月份名稱
%B 本地完整的月份名稱
%c 本地相應(yīng)的日期表示和時(shí)間表示
%j 年內(nèi)的一天（001-366）
%p 本地A.M.或P.M.的等價(jià)符
%U 一年中的星期數(shù)（00-53）星期天為星期的開(kāi)始
%w 星期（0-6），星期天為星期的開(kāi)始
%W 一年中的星期數(shù)（00-53）星期一為星期的開(kāi)始
%x 本地相應(yīng)的日期表示
%X 本地相應(yīng)的時(shí)間表示
%Z 當(dāng)前時(shí)區(qū)的名稱
%% %號(hào)本身

(3)元組(struct_time)：struct_time元組共有9個(gè)元素：（年、月、日、時(shí)、分、秒、一年中第幾周、一年中第幾天等）

#導(dǎo)入時(shí)間模塊
>>>import time

#時(shí)間戳
>>>time.time()
1500875844.800804

#時(shí)間字符串
>>>time.strftime("%Y-%m-%d %X")
'2017-07-24 13:54:37'
>>>time.strftime("%Y-%m-%d %H-%M-%S")
'2017-07-24 13-55-04'

#時(shí)間元組:localtime將一個(gè)時(shí)間戳轉(zhuǎn)換為當(dāng)前時(shí)區(qū)的struct_time
time.localtime()
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24,
　　　　　　　　　　tm_hour=13, tm_min=59, tm_sec=37, 
                 tm_wday=0, tm_yday=205, tm_isdst=0)

小結(jié)：時(shí)間戳是計(jì)算機(jī)能夠識(shí)別的時(shí)間；時(shí)間字符串是人能夠看懂的時(shí)間；元組則是用來(lái)操作時(shí)間的

幾種格式之間的相互轉(zhuǎn)換

ZVHHA97HXV(9VLURSLF3LK4.png

#時(shí)間戳-->結(jié)構(gòu)化時(shí)間
#time.gmtime(時(shí)間戳)    #UTC時(shí)間，與英國(guó)倫敦當(dāng)?shù)貢r(shí)間一致
#time.localtime(時(shí)間戳) #當(dāng)?shù)貢r(shí)間。例如我們現(xiàn)在在北京執(zhí)行這個(gè)方法：與UTC時(shí)間相差8小時(shí)，UTC時(shí)間+8小時(shí) = 北京時(shí)間 
>>>time.gmtime(1500000000)
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=2, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0)
>>>time.localtime(1500000000)
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=10, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0)

#結(jié)構(gòu)化時(shí)間-->時(shí)間戳　
#time.mktime(結(jié)構(gòu)化時(shí)間)
>>>time_tuple = time.localtime(1500000000)
>>>time.mktime(time_tuple)
1500000000.0

#結(jié)構(gòu)化時(shí)間-->字符串時(shí)間
#time.strftime("格式定義","結(jié)構(gòu)化時(shí)間")  結(jié)構(gòu)化時(shí)間參數(shù)若不傳，則顯示當(dāng)前時(shí)間
>>>time.strftime("%Y-%m-%d %X")
'2017-07-24 14:55:36'
>>>time.strftime("%Y-%m-%d",time.localtime(1500000000))
'2017-07-14'

#字符串時(shí)間-->結(jié)構(gòu)化時(shí)間
#time.strptime(時(shí)間字符串,字符串對(duì)應(yīng)格式)
>>>time.strptime("2017-03-16","%Y-%m-%d")
time.struct_time(tm_year=2017, tm_mon=3, tm_mday=16, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=75, tm_isdst=-1)
>>>time.strptime("07/24/2017","%m/%d/%Y")
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=0, tm_yday=205, tm_isdst=-1)

2.png

#結(jié)構(gòu)化時(shí)間 --> %a %b %d %H:%M:%S %Y串
#time.asctime(結(jié)構(gòu)化時(shí)間) 如果不傳參數(shù)，直接返回當(dāng)前時(shí)間的格式化串
>>>time.asctime(time.localtime(1500000000))
'Fri Jul 14 10:40:00 2017'
>>>time.asctime()
'Mon Jul 24 15:18:33 2017'

#時(shí)間戳 --> %a %b %d %H:%M:%S %Y串
#time.ctime(時(shí)間戳)  如果不傳參數(shù)，直接返回當(dāng)前時(shí)間的格式化串
>>>time.ctime()
'Mon Jul 24 15:19:07 2017'
>>>time.ctime(1500000000)
'Fri Jul 14 10:40:00 2017' 

import time
true_time=time.mktime(time.strptime('2017-09-11 08:30:00','%Y-%m-%d %H:%M:%S'))
time_now=time.mktime(time.strptime('2017-09-12 11:00:00','%Y-%m-%d %H:%M:%S'))
dif_time=time_now-true_time
struct_time=time.gmtime(dif_time)
print('過(guò)去了%d年%d月%d天%d小時(shí)%d分鐘%d秒'%(struct_time.tm_year-1970,struct_time.tm_mon-1,
                                       struct_time.tm_mday-1,struct_time.tm_hour,
                                       struct_time.tm_min,struct_time.tm_sec))

random模塊

>>> import random
#隨機(jī)小數(shù)
>>> random.random()      # 大于0且小于1之間的小數(shù)
0.7664338663654585
>>> random.uniform(1,3) #大于1小于3的小數(shù)
1.6270147180533838
#恒富：發(fā)紅包

#隨機(jī)整數(shù)
>>> random.randint(1,5)  # 大于等于1且小于等于5之間的整數(shù)
>>> random.randrange(1,10,2) # 大于等于1且小于10之間的奇數(shù)


#隨機(jī)選擇一個(gè)返回
>>> random.choice([1,'23',[4,5]])  # #1或者23或者[4,5]
#隨機(jī)選擇多個(gè)返回，返回的個(gè)數(shù)為函數(shù)的第二個(gè)參數(shù)
>>> random.sample([1,'23',[4,5]],2) # #列表元素任意2個(gè)組合
[[4, 5], '23']


#打亂列表順序
>>> item=[1,3,5,7,9]
>>> random.shuffle(item) # 打亂次序
>>> item
[5, 1, 3, 7, 9]
>>> random.shuffle(item)
>>> item
[5, 9, 7, 1, 3]

生成隨機(jī)驗(yàn)證碼

import random

def v_code():

    code = ''
    for i in range(5):

        num=random.randint(0,9)
        alf=chr(random.randint(65,90))
        add=random.choice([num,alf])
        code="".join([code,str(add)])

    return code

print(v_code())

os模塊

os模塊是與操作系統(tǒng)交互的一個(gè)接口

os.makedirs('dirname1/dirname2') 可生成多層遞歸目錄
os.removedirs('dirname1') 若目錄為空，則刪除，并遞歸到上一級(jí)目錄，如若也為空，則刪除，依此類(lèi)推
os.mkdir('dirname') 生成單級(jí)目錄；相當(dāng)于shell中mkdir dirname
os.rmdir('dirname') 刪除單級(jí)空目錄，若目錄不為空則無(wú)法刪除，報(bào)錯(cuò)；相當(dāng)于shell中rmdir dirname
os.listdir('dirname') 列出指定目錄下的所有文件和子目錄，包括隱藏文件，并以列表方式打印
os.remove() 刪除一個(gè)文件
os.rename("oldname","newname") 重命名文件/目錄
os.stat('path/filename') 獲取文件/目錄信息

os.system("bash command") 運(yùn)行shell命令，直接顯示
os.popen("bash command).read() 運(yùn)行shell命令，獲取執(zhí)行結(jié)果
os.getcwd() 獲取當(dāng)前工作目錄，即當(dāng)前python腳本工作的目錄路徑
os.chdir("dirname") 改變當(dāng)前腳本工作目錄；相當(dāng)于shell下cd

os.path
os.path.abspath(path) 返回path規(guī)范化的絕對(duì)路徑
os.path.split(path) 將path分割成目錄和文件名二元組返回
os.path.dirname(path) 返回path的目錄。其實(shí)就是os.path.split(path)的第一個(gè)元素
os.path.basename(path) 返回path最后的文件名。如何path以／或\結(jié)尾，那么就會(huì)返回空值。即>os.path.split(path)的第二個(gè)元素
os.path.exists(path) 如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path) 如果path是絕對(duì)路徑，返回True
os.path.isfile(path) 如果path是一個(gè)存在的文件，返回True。否則返回False
os.path.isdir(path) 如果path是一個(gè)存在的目錄，則返回True。否則返回False
os.path.join(path1[, path2[, ...]]) 將多個(gè)路徑組合后返回，第一個(gè)絕對(duì)路徑之前的參數(shù)將被忽略
os.path.getatime(path) 返回path所指向的文件或者目錄的最后訪問(wèn)時(shí)間
os.path.getmtime(path) 返回path所指向的文件或者目錄的最后修改時(shí)間
os.path.getsize(path) 返回path的大小

注意：os.stat('path/filename') 獲取文件/目錄信息 的結(jié)構(gòu)說(shuō)明

stat 結(jié)構(gòu):

st_mode: inode 保護(hù)模式
st_ino: inode 節(jié)點(diǎn)號(hào)。
st_dev: inode 駐留的設(shè)備。
st_nlink: inode 的鏈接數(shù)。
st_uid: 所有者的用戶ID。
st_gid: 所有者的組ID。
st_size: 普通文件以字節(jié)為單位的大??；包含等待某些特殊文件的數(shù)據(jù)。
st_atime: 上次訪問(wèn)的時(shí)間。
st_mtime: 最后一次修改的時(shí)間。
st_ctime: 由操作系統(tǒng)報(bào)告的"ctime"。在某些系統(tǒng)上（如Unix）是最新的元數(shù)據(jù)更改的時(shí)間，在其它系統(tǒng)上（如Windows）是創(chuàng)建時(shí)間（詳細(xì)信息參見(jiàn)平臺(tái)的文檔）。

os模塊的屬性

os.sep    輸出操作系統(tǒng)特定的路徑分隔符，win下為"\\",Linux下為"/"
os.linesep    輸出當(dāng)前平臺(tái)使用的行終止符，win下為"\r\n",Linux下為"\n"
os.pathsep    輸出用于分割文件路徑的字符串 win下為;,Linux下為:
os.name    輸出字符串指示當(dāng)前使用平臺(tái)。win->'nt'; Linux->'posix'

sys模塊

sys模塊是與python解釋器交互的一個(gè)接口

sys.argv 命令行參數(shù)List，第一個(gè)元素是程序本身路徑
sys.exit(n) 退出程序，正常退出時(shí)exit(0),錯(cuò)誤退出sys.exit(1)
sys.version 獲取Python解釋程序的版本信息
sys.path 返回模塊的搜索路徑，初始化時(shí)使用PYTHONPATH環(huán)境變量的值
sys.platform 返回操作系統(tǒng)平臺(tái)名稱

異常處理和status

import sys
try:
    sys.exit(1)
except SystemExit as e:
    print(e)

序列化模塊

什么叫序列化——將原本的字典、列表等內(nèi)容轉(zhuǎn)換成一個(gè)字符串的過(guò)程就叫做序列化。

為什么要有序列化模塊？
比如，我們?cè)趐ython代碼中計(jì)算的一個(gè)數(shù)據(jù)需要給另外一段程序使用，那我們?cè)趺唇o？
現(xiàn)在我們能想到的方法就是存在文件里，然后另一個(gè)python程序再?gòu)奈募镒x出來(lái)。
但是我們都知道，對(duì)于文件來(lái)說(shuō)是沒(méi)有字典這個(gè)概念的，所以我們只能將數(shù)據(jù)轉(zhuǎn)換成字典放到文件中。
你一定會(huì)問(wèn)，將字典轉(zhuǎn)換成一個(gè)字符串很簡(jiǎn)單，就是str(dic)就可以辦到了，為什么我們還要學(xué)習(xí)序列化模塊呢？
沒(méi)錯(cuò)序列化的過(guò)程就是從dic 變成str(dic)的過(guò)程?，F(xiàn)在你可以通過(guò)str(dic)，將一個(gè)名為dic的字典轉(zhuǎn)換成一個(gè)字符串，
但是你要怎么把一個(gè)字符串轉(zhuǎn)換成字典呢？
聰明的你肯定想到了eval()，如果我們將一個(gè)字符串類(lèi)型的字典str_dic傳給eval，就會(huì)得到一個(gè)返回的字典類(lèi)型了。
eval()函數(shù)十分強(qiáng)大，但是eval是做什么的？e官方demo解釋為：將字符串str當(dāng)成有效的表達(dá)式來(lái)求值并返回計(jì)算結(jié)果。
ＢＵＴ！強(qiáng)大的函數(shù)有代價(jià)。安全性是其最大的缺點(diǎn)。
想象一下，如果我們從文件中讀出的不是一個(gè)數(shù)據(jù)結(jié)構(gòu)，而是一句"刪除文件"類(lèi)似的破壞性語(yǔ)句，那么后果實(shí)在不堪設(shè)設(shè)想。
而使用eval就要擔(dān)這個(gè)風(fēng)險(xiǎn)。
所以，我們并不推薦用eval方法來(lái)進(jìn)行反序列化操作(將str轉(zhuǎn)換成python中的數(shù)據(jù)結(jié)構(gòu))

序列化的目的

1、以某種存儲(chǔ)形式使自定義對(duì)象持久化。
2、將對(duì)象從一個(gè)地方傳遞到另一個(gè)地方。
3、使程序更具維護(hù)性。

3.png

json

json模塊提供了四個(gè)功能：dumps、dump、loads、load

loads 和 dumps

import json
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = json.dumps(dic)  #序列化：將一個(gè)字典轉(zhuǎn)換成一個(gè)字符串
print(type(str_dic),str_dic)  #<class 'str'> {"k3": "v3", "k1": "v1", "k2": "v2"}
#注意，json轉(zhuǎn)換完的字符串類(lèi)型的字典中的字符串是由""表示的

dic2 = json.loads(str_dic)  #反序列化：將一個(gè)字符串格式的字典轉(zhuǎn)換成一個(gè)字典
#注意，要用json的loads功能處理的字符串類(lèi)型的字典中的字符串必須由""表示
print(type(dic2),dic2)  #<class 'dict'> {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}


list_dic = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]
str_dic = json.dumps(list_dic) #也可以處理嵌套的數(shù)據(jù)類(lèi)型 
print(type(str_dic),str_dic) #<class 'str'> [1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]
list_dic2 = json.loads(str_dic)
print(type(list_dic2),list_dic2) #<class 'list'> [1, ['a', 'b', 'c'], 3, {'k1': 'v1', 'k2': 'v2'}]

load 和 dump

import json
f = open('json_file','w')
dic = {'k1':'v1','k2':'v2','k3':'v3'}
json.dump(dic,f)  #dump方法接收一個(gè)文件句柄，直接將字典轉(zhuǎn)換成json字符串寫(xiě)入文件
f.close()

f = open('json_file')
dic2 = json.load(f)  #load方法接收一個(gè)文件句柄，直接將文件中的json字符串轉(zhuǎn)換成數(shù)據(jù)結(jié)構(gòu)返回
f.close()
print(type(dic2),dic2)

ensure_ascii 關(guān)鍵字參數(shù)

import json
f = open('file','w')
json.dump({'國(guó)籍':'中國(guó)'},f)
ret = json.dumps({'國(guó)籍':'中國(guó)'})
f.write(ret+'\n')
json.dump({'國(guó)籍':'美國(guó)'},f,ensure_ascii=False)
ret = json.dumps({'國(guó)籍':'美國(guó)'},ensure_ascii=False)
f.write(ret+'\n')
f.close()

其他參數(shù)說(shuō)明

Serialize obj to a JSON formatted str.(字符串表示的json對(duì)象) 
Skipkeys：默認(rèn)值是False，如果dict的keys內(nèi)的數(shù)據(jù)不是python的基本類(lèi)型(str,unicode,int,long,float,bool,None)，設(shè)置為False時(shí)，就會(huì)報(bào)TypeError的錯(cuò)誤。此時(shí)設(shè)置成True，則會(huì)跳過(guò)這類(lèi)key 
ensure_ascii:，當(dāng)它為T(mén)rue的時(shí)候，所有非ASCII碼字符顯示為\uXXXX序列，只需在dump時(shí)將ensure_ascii設(shè)置為False即可，此時(shí)存入json的中文即可正常顯示。) 
If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an OverflowError (or worse). 
If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity). 
indent：應(yīng)該是一個(gè)非負(fù)的整型，如果是0就是頂格分行顯示，如果為空就是一行最緊湊顯示，否則會(huì)換行且按照indent的數(shù)值顯示前面的空白分行顯示，這樣打印出來(lái)的json數(shù)據(jù)也叫pretty-printed json 
separators：分隔符，實(shí)際上是(item_separator, dict_separator)的一個(gè)元組，默認(rèn)的就是(‘,’,’:’)；這表示dictionary內(nèi)keys之間用“,”隔開(kāi)，而KEY和value之間用“：”隔開(kāi)。 
default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError. 
sort_keys：將數(shù)據(jù)根據(jù)keys的值進(jìn)行排序。 
To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg; otherwise JSONEncoder is used.

json 的格式化輸出

import json
data = {'username':['李華','二愣子'],'sex':'male','age':16}
json_dic2 = json.dumps(data,sort_keys=True,indent=2,separators=(',',':'),ensure_ascii=False)
print(json_dic2)

pickle

json & pickle 模塊是用來(lái)序列化的兩個(gè)模塊
json：用于字符串和python數(shù)據(jù)類(lèi)型間進(jìn)行轉(zhuǎn)換
pickle：用于python特有的類(lèi)型和python的數(shù)據(jù)類(lèi)型間進(jìn)行轉(zhuǎn)換

pickle模塊提供了四個(gè)功能：dumps、dump(序列化，存)、loads(反序列化，讀)、load(不僅可以序列化字典，列表....還可以吧python中任意的數(shù)據(jù)類(lèi)型序列化)

import pickle
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = pickle.dumps(dic)
print(str_dic)  #一串二進(jìn)制內(nèi)容

dic2 = pickle.loads(str_dic)
print(dic2)    #字典

import time
struct_time  = time.localtime(1000000000)
print(struct_time)
f = open('pickle_file','wb')
pickle.dump(struct_time,f)
f.close()

f = open('pickle_file','rb')
struct_time2 = pickle.load(f)
print(struct_time2.tm_year)

hashlib模塊

算法介紹

Python的hashlib提供了常見(jiàn)的摘要算法，如MD5，SHA1等等。

什么是摘要算法呢？摘要算法又稱哈希算法、散列算法。它通過(guò)一個(gè)函數(shù)，把任意長(zhǎng)度的數(shù)據(jù)轉(zhuǎn)換為一個(gè)長(zhǎng)度固定的數(shù)據(jù)串（通常用16進(jìn)制的字符串表示）。

摘要算法就是通過(guò)摘要函數(shù)f()對(duì)任意長(zhǎng)度的數(shù)據(jù)data計(jì)算出固定長(zhǎng)度的摘要digest，目的是為了發(fā)現(xiàn)原始數(shù)據(jù)是否被人篡改過(guò)。

摘要算法之所以能指出數(shù)據(jù)是否被篡改過(guò)，就是因?yàn)檎瘮?shù)是一個(gè)單向函數(shù)，計(jì)算f(data)很容易，但通過(guò)digest反推data卻非常困難。而且，對(duì)原始數(shù)據(jù)做一個(gè)bit的修改，都會(huì)導(dǎo)致計(jì)算出的摘要完全不同。

我們以常見(jiàn)的摘要算法MD5為例，計(jì)算出一個(gè)字符串的MD5值：

import hashlib
 
md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()

計(jì)算結(jié)果如下：
d26a53750bc40b38b65a520292f69306

如果數(shù)據(jù)量很大，可以分塊多次調(diào)用update()，最后計(jì)算的結(jié)果是一樣的：

md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()

MD5是最常見(jiàn)的摘要算法，速度很快，生成結(jié)果是固定的128 bit字節(jié)，通常用一個(gè)32位的16進(jìn)制字符串表示。另一種常見(jiàn)的摘要算法是SHA1，調(diào)用SHA1和調(diào)用MD5完全類(lèi)似：

import hashlib
 
sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()

SHA1的結(jié)果是160 bit字節(jié)，通常用一個(gè)40位的16進(jìn)制字符串表示。比SHA1更安全的算法是SHA256和SHA512，不過(guò)越安全的算法越慢，而且摘要長(zhǎng)度更長(zhǎng)。

configparser模塊

該模塊適用于配置文件的格式與windows ini文件類(lèi)似，可以包含一個(gè)或多個(gè)節(jié)（section），每個(gè)節(jié)可以有多個(gè)參數(shù)（鍵=值）。

創(chuàng)建文件

[DEFAULT]
ServerAliveInterval = 45
Compression = yes
CompressionLevel = 9
ForwardX11 = yes
  
[bitbucket.org]
User = hg
  
[topsecret.server.com]
Port = 50022
ForwardX11 = no

如果想用python 生成一個(gè)這樣的文檔怎么做呢？

import configparser

config = configparser.ConfigParser()

config["DEFAULT"] = {'ServerAliveInterval': '45',
                      'Compression': 'yes',
                     'CompressionLevel': '9',
                     'ForwardX11':'yes'
                     }

config['bitbucket.org'] = {'User':'hg'}

config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'}

with open('example.ini', 'w') as configfile:

   config.write(configfile)

查找文件

import configparser

config = configparser.ConfigParser()

#---------------------------查找文件內(nèi)容,基于字典的形式

print(config.sections())        #  []

config.read('example.ini')

print(config.sections())        #   ['bitbucket.org', 'topsecret.server.com']

print('bytebong.com' in config) # False
print('bitbucket.org' in config) # True


print(config['bitbucket.org']["user"])  # hg

print(config['DEFAULT']['Compression']) #yes

print(config['topsecret.server.com']['ForwardX11'])  #no


print(config['bitbucket.org'])          #<Section: bitbucket.org>

for key in config['bitbucket.org']:     # 注意,有default會(huì)默認(rèn)default的鍵
    print(key)

print(config.options('bitbucket.org'))  # 同for循環(huán),找到'bitbucket.org'下所有鍵

print(config.items('bitbucket.org'))    #找到'bitbucket.org'下所有鍵值對(duì)

print(config.get('bitbucket.org','compression')) # yes       get方法Section下的key對(duì)應(yīng)的value

增刪改操作

import configparser

config = configparser.ConfigParser()

config.read('example.ini')

config.add_section('yuan')



config.remove_section('bitbucket.org')
config.remove_option('topsecret.server.com',"forwardx11")


config.set('topsecret.server.com','k1','11111')
config.set('yuan','k2','22222')

config.write(open('new2.ini', "w"))

logging模塊

函數(shù)的簡(jiǎn)單配置

import logging  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message') 

默認(rèn)情況下Python的logging模塊將日志打印到了標(biāo)準(zhǔn)輸出中，且只顯示了大于等于WARNING級(jí)別的日志，這說(shuō)明默認(rèn)的日志級(jí)別設(shè)置為WARNING（日志級(jí)別等級(jí)CRITICAL > ERROR > WARNING > INFO > DEBUG），默認(rèn)的日志格式為日志級(jí)別：Logger名稱：用戶輸出消息。

靈活配置日志級(jí)別，日志格式，輸出位置:

import logging  
logging.basicConfig(level=logging.DEBUG,  
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',  
                    datefmt='%a, %d %b %Y %H:%M:%S',  
                    filename='/tmp/test.log',  
                    filemode='w')  
  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message')

配置參數(shù)

logging.basicConfig()函數(shù)中可通過(guò)具體參數(shù)來(lái)更改logging模塊默認(rèn)行為，可用參數(shù)有：

filename：用指定的文件名創(chuàng)建FiledHandler，這樣日志會(huì)被存儲(chǔ)在指定的文件中。
filemode：文件打開(kāi)方式，在指定了filename時(shí)使用這個(gè)參數(shù)，默認(rèn)值為“a”還可指定為“w”。
format：指定handler使用的日志顯示格式。
datefmt：指定日期時(shí)間格式。
level：設(shè)置rootlogger（后邊會(huì)講解具體概念）的日志級(jí)別
stream：用指定的stream創(chuàng)建StreamHandler。可以指定輸出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默認(rèn)為sys.stderr。若同時(shí)列出了filename和stream兩個(gè)參數(shù)，則stream參數(shù)會(huì)被忽略。

format參數(shù)中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 數(shù)字形式的日志級(jí)別
%(levelname)s 文本形式的日志級(jí)別
%(pathname)s 調(diào)用日志輸出函數(shù)的模塊的完整路徑名，可能沒(méi)有
%(filename)s 調(diào)用日志輸出函數(shù)的模塊的文件名
%(module)s 調(diào)用日志輸出函數(shù)的模塊名
%(funcName)s 調(diào)用日志輸出函數(shù)的函數(shù)名
%(lineno)d 調(diào)用日志輸出函數(shù)的語(yǔ)句所在的代碼行
%(created)f 當(dāng)前時(shí)間，用UNIX標(biāo)準(zhǔn)的表示時(shí)間的浮 點(diǎn)數(shù)表示
%(relativeCreated)d 輸出日志信息時(shí)的，自Logger創(chuàng)建以 來(lái)的毫秒數(shù)
%(asctime)s 字符串形式的當(dāng)前時(shí)間。默認(rèn)格式是 “2003-07-08 16:49:45,896”。逗號(hào)后面的是毫秒
%(thread)d 線程ID?？赡軟](méi)有
%(threadName)s 線程名。可能沒(méi)有
%(process)d 進(jìn)程ID?？赡軟](méi)有
%(message)s用戶輸出的消息

logger對(duì)象配置

import logging

logger = logging.getLogger()
# 創(chuàng)建一個(gè)handler，用于寫(xiě)入日志文件
fh = logging.FileHandler('test.log',encoding='utf-8') 

# 再創(chuàng)建一個(gè)handler，用于輸出到控制臺(tái) 
ch = logging.StreamHandler() 
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setLevel(logging.DEBUG)

fh.setFormatter(formatter) 
ch.setFormatter(formatter) 
logger.addHandler(fh) #logger對(duì)象可以添加多個(gè)fh和ch對(duì)象 
logger.addHandler(ch) 

logger.debug('logger debug message') 
logger.info('logger info message') 
logger.warning('logger warning message') 
logger.error('logger error message') 
logger.critical('logger critical message')

logging庫(kù)提供了多個(gè)組件：Logger、Handler、Filter、Formatter。Logger對(duì)象提供應(yīng)用程序可直接使用的接口，Handler發(fā)送日志到適當(dāng)?shù)哪康牡兀現(xiàn)ilter提供了過(guò)濾日志信息的方法，F(xiàn)ormatter指定日志顯示格式。另外，可以通過(guò)：logger.setLevel(logging.Debug)設(shè)置級(jí)別,當(dāng)然，也可以通過(guò)fh.setLevel(logging.Debug)單對(duì)文件流設(shè)置某個(gè)級(jí)別。