第14章 處理CSV文件和JSON數(shù)據(jù)

CSV

CSV(Comma-Separated Values)逗號分隔的值，是簡化的電子表格，保存為純文本文件。優(yōu)勢是簡單。
CSV文件中：

  • 值沒有類型，所有東西都是字符串；
  • 沒有字體大小顏色的設(shè)置；
  • 沒有多個工作表；
  • 不能指定單元格的寬度和高度；
  • 不能合并單元格；
  • 不能嵌入圖像和圖表。

csv模塊是python自帶的，不需要安裝就可以導(dǎo)入。

讀操作

  • 要讀取csv文件，手寫用open()函數(shù)打開它，同文本文件一樣。
  • 讀取不是調(diào)用read()或readlines()方法，而是將它傳遞給csv.reader()函數(shù)，返回一個Reader對象。
  • 要訪問Reader對象中的值，最直接的方法，就是將它轉(zhuǎn)換成一個python的列表，即將它傳遞給list()。
  • 然后就可以利用下標來訪問特定的行列了。如下的exampleData[row][col]
    • exampleData[0][0]訪問的是excel表格的第一行第一列數(shù)據(jù)。
>>> exampleFile = open('csvTest.csv')
>>> exampleReader = csv.reader(exampleFile)
>>> exampleData = list(exampleReader)
>>> exampleData
[['2015', '1:02', 'Apples', '12'], ['123', '3:05', 'Cherries', '23'], ['456', '12:01', 'Oranges', '54']]
>>> exampleData[0][0]
'2015'
>>> exampleData[0][2]
'Apples'
>>> exampleFile.close()

Reader對象

  • 對于大型的CSV文件，需要在一個for循環(huán)中使用Reader對象，這樣可以避免將整個文件一次性裝入內(nèi)存。
>>> import csv
>>> exampleFile = open('csvTest.csv')
>>> exampleReader = csv.reader(exampleFile)
>>> for row in exampleReader:
>>> for row in exampleReader:
...     print('Row #' + str(exampleReader.line_num) + ' ' + str(row))
...
Row #1 ['2015', '1:02', 'Apples', '12']
Row #2 ['123', '3:05', 'Cherries', '23']
Row #3 ['456', '12:01', 'Oranges', '54']
>>> exampleFile.close()
  • Reader對象只能循環(huán)遍歷一次，要再次讀取CSV文件，必須調(diào)用csv.reader，再創(chuàng)建一個對象。

寫操作

import csv
outputFile = open('output.csv','w', newline = '')
outputWriter = csv.writer(outputFile)
outputWriter.writerow(['123','abc','33bs','ham',3.13144])
outputWriter.writerow(['aaa','333','world','hdd','hellow'])
outputFile.close()
  • 在Windows上，需要為open()函數(shù)的newline關(guān)鍵字參數(shù)傳入一個空字符串。如果忘記設(shè)置newline關(guān)鍵字參數(shù)，output.csv中行距將有兩倍，即每兩行數(shù)據(jù)中間多處一個空行。

delimiter和lineterminator關(guān)鍵字參數(shù)

  • 如果希望，用制表符來代替逗號分隔單元格，在使用csv.writer函數(shù)的時候，添加參數(shù)delimiter = '\t', lineterminator = '\n' 
import csv
outputFile = open('csvExample.tsv','w', newline = '')
outputWriter = csv.writer(outputFile, delimiter = '\t', lineterminator = '\n')
outputWriter.writerow(['123','abc','33bs','ham',3.13144])
outputWriter.writerow(['aaa','333','world','hdd','hellow'])
outputFile.close()

小項目：將文件夾中所有CSV文件內(nèi)的表頭刪除，并存到新文件夾中

# 功能：遍歷文件夾中所有CSV文件，從CSV文件中刪除表頭
import csv, os

os.makedirs('headerRemoved', exist_ok = True)

# 1.循環(huán)遍歷當前目錄下每個文件
for csvFilename in os.listdir('.'):
    if not csvFilename.endswith('.csv'):
        continue #跳過結(jié)尾不是.csv的文件
    print('Removing header from ' + csvFilename + '...')

# 2.讀CSV文件，除第一行外其余存入臨時變量csvRows 
    csvRows = []
    csvFileObj = open(csvFilename)
    readerObj = csv.reader(csvFileObj)
    for row in readerObj:
        if readerObj.line_num == 1:
            continue #第一行不寫入臨時變量csvRows
        csvRows.append(row)
    csvFileObj.close()

# 3.寫入新CSV文件
    csvFileObj = open(os.path.join('headerRemoved', csvFilename),'w',newline = '')
    csvWriter = csv.writer(csvFileObj)
    for row in csvRows:
        csvWriter.writerow(row)
    csvFileObj.close()

JSON和API

JSON是JavaScript程序編寫數(shù)據(jù)結(jié)構(gòu)的原生方式，通常類似于Python的pprint()函數(shù)產(chǎn)生的結(jié)果。

很多網(wǎng)站都提供JSON格式的內(nèi)容，作為程序與網(wǎng)站交互的方式，這就是所謂的"應(yīng)用程序編程接口(API)"。

JSON字符串總是用雙引號，它將改數(shù)據(jù)返回一個Python字典，Python字典是沒有順序的，所以json.loads()后打印其返回值，鍵-值對可能以不同順序出現(xiàn)。

  • 用json.loads()函數(shù)讀取JSON，意思是“l(fā)oad string”。
  • 用json.dumps()函數(shù)寫出JSON，意思是“dump string”。

小項目：取得當前天氣，并打印天氣預(yù)報

  1. 連接 sys.argv 中的字符串，從命令行得到位置。
  2. 調(diào)用requests.get()，下載天氣數(shù)據(jù)。
    • OpenWeatherMap.org提供了JSON格式的實時天氣信息。程序只需要下載頁面：http://api.openweathermap.org/data/2.5/forecast/daily?q=<Location>&cnt=3，其中<Location>是想查天氣的城市。
  3. 調(diào)用json.loads()，將JSON數(shù)據(jù)轉(zhuǎn)換為Python數(shù)據(jù)結(jié)構(gòu)。
  4. 打印天氣預(yù)報

上面外國網(wǎng)站永不了，另搜了百度天氣接口api

以GET形式提交，返回JSON或XML
URL:http://api.map.baidu.com/telematics/v3/weather?location={城市名}&output={返回格式}&ak={百度AK}
廣州JSON例子：http://api.map.baidu.com/telematics/v3/weather?location=廣州&output=JSON&ak=FK9mkfdQsloEngodbFl4FeY3
廣州XML例子：http://api.map.baidu.com/telematics/v3/weather?location=廣州&output=XML&ak=FK9mkfdQsloEngodbFl4FeY3
JSON返回主要數(shù)據(jù):
date：時間、currentCity：城市、pm25：pm2.5指數(shù)、index：各指數(shù)意見（穿衣、洗車、旅游、干嘛、運動、紫外線）、weather_data：四天內(nèi)的天氣情況（天氣、溫度、風(fēng)向、參考圖標）

實測發(fā)現(xiàn)，發(fā)現(xiàn)百度天氣json數(shù)據(jù)的api接口被禁用了，所以只能用下面這個做測試了

http://wthrcdn.etouch.cn/weather_mini?city=%E5%8C%97%E4%BA%AC

# 功能：利用API得到JSON數(shù)據(jù)，取得當前天氣數(shù)據(jù)，并打印天氣預(yù)報
import json, requests, sys, pprint

# 1.從命令行讀取請求的位置，命令行參數(shù)以空格分隔
if len(sys.argv) < 2:
    print('Usage : quickWeather.py location')
    sys.exit()
location = ' '.join(sys.argv[1:]) #命令行參數(shù)存在列表里是沒有空格的，此處用空格來拼接它們
print(location)

# 2.下載JSON數(shù)據(jù)
url = 'http://wthrcdn.etouch.cn/weather_mini?city=%s' % (location)
response = requests.get(url)
response.raise_for_status()
pprint.pprint(response.text)

weatherData = json.loads(response.text)  #觀察json數(shù)據(jù)格式后發(fā)現(xiàn)溫度存在在data的wendu中
w = weatherData['data']
print(w['wendu'])

上面代碼保存為quickWeather.py，在命令行運行 python quickWeather.py 北京

{
        desc: "OK",
        status: 1000,
        data: 
{
        wendu: "5",
        ganmao: "雖然溫度適宜但風(fēng)力較大，仍較易發(fā)生感冒，體質(zhì)較弱的朋友請注意適當防護。",
        forecast: [
        
{
        fengxiang: "北風(fēng)",
        fengli: "微風(fēng)級",
        high: "高溫 5℃",
        type: "晴",
        low: "低溫 -4℃",
        date: "8日星期天"
        },
        
{
        fengxiang: "南風(fēng)",
        fengli: "微風(fēng)級",
        high: "高溫 3℃",
        type: "晴",
        low: "低溫 -6℃",
        date: "9日星期一"
        },
        
{
        fengxiang: "北風(fēng)",
        fengli: "微風(fēng)級",
        high: "高溫 4℃",
        type: "晴",
        low: "低溫 -6℃",
        date: "10日星期二"
        },
        
{
        fengxiang: "南風(fēng)",
        fengli: "微風(fēng)級",
        high: "高溫 4℃",
        type: "晴",
        low: "低溫 -6℃",
        date: "11日星期三"
        },
        
{
        fengxiang: "南風(fēng)",
        fengli: "微風(fēng)級",
        high: "高溫 4℃",
        type: "多云",
        low: "低溫 -5℃",
        date: "12日星期四"
        }
        ],
        yesterday: 
{
        fl: "微風(fēng)",
        fx: "北風(fēng)",
        high: "高溫 3℃",
        type: "小雪",
        low: "低溫 -3℃",
        date: "7日星期六"
        },
        aqi: "48",
        city: "北京"
        }
}
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容