分塊迭代讀取
import pandas as pd
data=pd.read_csv('your_data_file.csv',iterator=True，chunksize=10)
- 想看前5行
data.get_chunk(5) #data是之前讀取數(shù)據(jù)集文件的對象
注意:當(dāng)iterator為True時，data實際上是一個迭代器，調(diào)用get_chunk(5)后迭代器會指向第6個元素
- 一種拼接方式是逐個讀取再拼接，利用
pd.concat（）方法
chunks=[]
for i in data:
chunks.append(i)
df=pd.concat(chunks,axis=0,ignore_index=False)
參數(shù)說明：
axis：0的時候沿著行增加的方向拼接，即上下拼接;1的時候沿著列增加的方向拼接，即左右拼接
ignore_index：False的時候用原來的index，True的時候用默認(rèn)的index（0->n）
