【Python】Pandas dataframe小記
參考資料
===== Dataframe的操作 =====
# dataframe初始化
df = pd.DataFrame()
df = pd.DataFrame(columns=['symbol','xxx', 'price'])
#附加一列數據
a = { 'a':1, 'b':1, 'c':1 }
df = df.append(a, ignore_index=True)
#刪除數據
df.dropna(axis=0, how='any')
#替換數據
df.replace(to_replace=None, value=None)
#轉置矩陣
df.T
#刪除欄位
df = df.drop('Name', axis=1) #axis=0,代表列; axis=1,代表行
#欄位的重新排序
#原本欄位順序a,b,c,d,改為b,a,d,c
df.reindex(
#顯示有哪些欄位
df.columns
#修改欄位名稱
df.rename(columns = {'舊欄位名稱1': '新欄位名稱1', '舊欄位名稱2': '新欄位名稱2'}, inplace = True)
#新增欄位
df.insert(index, '欄位名稱', )
#擷取部份欄位
#假設原本有A,B,C,D,E欄位,但新的dataframe只需要A,B,C
df = pd.Dataframe(df, columns=['A','B','C'])
#將dataframe中所有的空白字元拿掉
df.replace('\s+','', regex=True, inplace=True)
#刪除欄位A中有包含空值資料的列
df2 = df.dropna(axis=0, subset=['A'])
#顯示資料相關資訊
df.info()
df.info(memory_usage='deep') #顯示記憶體使用狀況
Traversal
#DataFrame
for item in dfA.iterrows():
xxx
#List
for item in listA.items():
xxx
#Array
for item in arrayA:
xxx
檔案操作
csv的讀寫
#Read CSV
pd.DataFrame.from_csv('csv_file')
pd.read_csv('csv_file')
#Write CSV
df.to_csv('data.csv', index=False)
df.to_csv('data.csv', sep=',', index=False)
Excel的讀寫
基本型態
#Read Excel
pd.read_excel('excel_file')
#Write Excel(單一sheet)
pd.to_excel('excel_file')
如果是要將資料寫入Excel的多個sheet
如果是要append上去,而不是覆蓋的話,mode可以改為「a」
#Write Excel(多個sheet)
with pd.ExcelWriter('檔案名稱', mode='w') as writer:
df1.to_excel(writer, sheet_name='A', encoding='utf_8_sig', index=False)
df2.to_excel(writer, sheet_name='B', encoding='utf_8_sig', index=False)
如果想要輸出的excel自動調整欄寬,可以改寫為以下
# Auto-adjust columns' width
for column in df:
# 找出該欄位名稱的最大值
column_width = max(df[column].astype(str).map(len).max(), len(column))
# 使用get_loc找出該欄位的index
col_idx = df.columns.get_loc(column)
# 設定欄寬
sheet.set_column(col_idx, col_idx, column_width)
如果有遇到「’Worksheet’ object has no attribute ‘set_column’」這個錯誤
安裝以下套件即可
pip install xlsxwriter
資料操作
df.groupby('XXX').count() #每個類別的數量
df.groupby('XXX').mean() #每個類別的平均
df.groupby('XXX').std() #每個類別的標準差
df.groupby('XXX').median() #每個類別的中位數
df.replace('XXX', 'YYY', inplace=True) #修改df中欄位A裡,所有值為XXX的改為YYY
#inplace=True代表直接替換掉原數據
df['A'].replace('XXX', 'YYY', inplace=True)
#修改多個值。所有df中的XXX改為0.1,YYY改為0.2
df.replace({'XXX':0.1},{'YYY':0.2})
#修改多個值。所有df中的XXX或YYY改為0.1
df.replace(['XXX','YYY'], 0.1)
#透過正規表示法來修改數值。將df中所有數值為A~Z的內容改為0.1
df.replace('[A-Z]',0.1, regex=True)
#將df中A欄位裡的所有XXX改為YYY
df['A'].str.replace('XXX','YYY')
其他操作
#產生一個dataframe
datesframe = pd.date_range('20200101', periods=6) pd.DataFrame(np.arrange(24).reshape((4,6)), index=datesframe, columns=['A', 'B', 'C', 'D'])
#選擇欄
df['A'] or df.A
#根據標籤選擇 - loc
df.loc(:,['A','B'] #取得所有的列欄位'A'與欄位'B'的資料
df.loc('20200101',['A','B']] #取得列20200101的欄位'A'與欄位'B'資料
df.loc['20200101'] #取得列20200101的所有欄位資料
#根據序列選擇 - iloc (位置從0算起)
df.iloc[3,1] #取得第4列、第2行的資料
df.iloc[3:5,1:3] #取得第4~5列、第2~3欄的資料
df.iloc[[1,3,5],1:3] #取得第1,3,5列、第2~3欄的資料
#混合選擇 - ix
df.ix(:3,['A',C'] #取0~2列、'A''C'兩欄的資料
#條件式篩選
df[df.A>8] #列出所有'A'欄位>8的所有資料列
#從dict中取值
def get_key(val): for key, value in my_dict.items(): if val == value: return key return "key doesn't exist"
#過濾資料的日期
mask = df['date']==datetime.strptime('2021-02-26', '%Y-%m-%d').date() df[mask]
#過濾資料的日期區間-三種方式
mask = (df['col'] > start_date) & (df['col'] <= end_date)
df[mask]
df.query("Joined_date >= '2019-06-1' and Joined_date <='2020-02-05'")
mask=df["Joined_date"].isin(pd.date_range('2019-06-1', '2020-02-05')) df[mask]
#取出一個dataframe的子集合,取出2~4列,b、d兩欄
df[2:4][['b','d']]
DataFrame合併
Concat(會保留重複index)