csv文件及json數(shù)據(jù)處理

• 讀寫(xiě)csv文件

  讀與寫(xiě)常用函數(shù)

  • csv.reader(),讀取為一個(gè)元組的序列
  • csv.DictReader() ,讀取為一個(gè)字典序列
  • csv.writer()
  • csv.DictWriter()

??讀取csv文件

import csv
from collections import namedtuple

with open("country.csv","r") as f:
       csv_r=csv.reader(f)
       headers=next(csv_r)
       Row=namedtuple("Row",headers)
       for r in csv_r:
              row=Row(*r)
              print(row)

??寫(xiě)csv文件，通常情況下，寫(xiě)入csv文件內(nèi)容會(huì)空一行，為了解決該問(wèn)題，python3，需要添加參數(shù)newline=''；python2將模式改成wb即可

#示例：寫(xiě)入字典的序列，使用DictWriter（）
headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
rows = [{'Symbol':'AA', 'Price':39.48, 'Date':'6/11/2007',
         'Time':'9:36am', 'Change':-0.18, 'Volume':181800},
        {'Symbol':'AIG', 'Price': 71.38, 'Date':'6/11/2007',
          'Time':'9:36am', 'Change':-0.15, 'Volume': 195500},
        {'Symbol':'AXP', 'Price': 62.58, 'Date':'6/11/2007',
          'Time':'9:36am', 'Change':-0.46, 'Volume': 935000}]
with open("text.csv","w",,newline='') as f:
       f_csv=csv.DictWriter(f,headers)
       f_csv.writeheader()
       f_csv.writerows(rows)

??值得注意的是，csv產(chǎn)生的數(shù)據(jù)為字符串類型，如需要轉(zhuǎn)化成對(duì)應(yīng)數(shù)據(jù)類型，必現(xiàn)做一個(gè)數(shù)據(jù)類型的轉(zhuǎn)換，此時(shí)推導(dǎo)式排上用場(chǎng)

#示例1：轉(zhuǎn)化成特定數(shù)據(jù)類型的元組
data_type=[str,float,str,str,float,int]
with open("text.csv","r") as f:
       f_csv=csv.reader(f)
       headers=next(f_csv)
       for item in f_csv:
              row=tuple((convert(value)for convert,value in zip(data_type,item)))
              print(row)

#示例2：轉(zhuǎn)化成字典序列
field_types = [
        ('Symbol',str),
        ('Price',float),
        ('Date',str),
         ('Time',str),
         ('Change',float),
         ('Volume',int)]
with open('text.csv') as f:
       for row in csv.DictReader(f):
              print(row)
              row.update((key, conversion(row[key]))for key, conversion in field_types)
              print(row)

• 讀寫(xiě)json數(shù)據(jù)
  Json 即JavaScript Object Notation的簡(jiǎn)稱, 支持的基本數(shù)據(jù)類型有bool、int、float、str、None、以及包含這些基本數(shù)據(jù)類型的lists、dictionaries（keys需要字符類型）、tuples。
  python中，json編碼與解碼字符串，主要函數(shù)是json.dumps()和json.loads()

>>> import json
>>> data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
>>> json.dumps(data)
'{"shares": 100, "name": "ACME", "price": 542.23}'
>>> json_str=json.dumps(data)
>>> json.loads(json_str)
{'shares': 100, 'name': 'ACME', 'price': 542.23}
>>> 

??如果要處理的是文件，而不是字符串，則使用json.dump()、json.load()

import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}

with open("json.json","w") as f:
    json.dump(data,f)

??JSON 編碼的格式對(duì)于 python 語(yǔ)法而已幾乎是完全一樣的，除了一些小的差異之外。比如， True 會(huì)被映射為 true， False 被映射為 false，而 None 會(huì)被映射為 null。

>>> import json
>>> d = {'a': True, 'b': 'Hello', 'c': None}
>>> json.dumps(d)
'{"c": null, "a": true, "b": "Hello"}'
>>> 

??格式化json編碼后的數(shù)據(jù)，尤其對(duì)于數(shù)據(jù)結(jié)構(gòu)嵌套深或者包含大量字段，通常直接打印來(lái)看的話，可讀性比較差，可以通過(guò)格式化的方式、提高可讀性。
- pprint()應(yīng)用
- dumps()函數(shù)中使用indent參數(shù)

>>> strs={  
    'employee':  
    {  
        'firstName': "John",  
        'lastName' : "Doe",  
        'employeeNumber' : 123,  
        'title' : "Accountant"  
    }  
}
>>> json_Str=json.dumps(strs,indent=4)
>>> print(json_Str)
{
    "employee": {
        "employeeNumber": 123,
        "lastName": "Doe",
        "firstName": "John",
        "title": "Accountant"
    }
}
>>> 

??一般來(lái)說(shuō)，json編碼loads()會(huì)根據(jù)指定數(shù)據(jù)創(chuàng)建lists或者dictionaries，如果你想要?jiǎng)?chuàng)建其他類型的對(duì)象，可以給 json.loads() 傳遞 object pairs hook 或 object hook 參數(shù)。

>>>#__dict__（）將字典轉(zhuǎn)化成對(duì)象屬性
>>> class JSONObject:
    def __init__(self, d):
        self.__dict__ = d
>>> s = '{"name": "ACME", "shares": 50, "price": 490.1}'
>>> data = json.loads(s, object_hook=JSONObject)
>>> data.name
'ACME'
>>> 

參考文章：
http://www.cnblogs.com/to-creat/p/7215510.html
https://www.crifan.com/python_csv_writer_writerow_redundant_new_line/