python pandas 學習筆記

Pandas使用一個二維的數據結構DataFrame來表示表格式的數據
DataFrame有四個重要的屬性：
index：行索引。
columns：列索引。
values：值的二維數組。
name：名字
data = pd.DataFrame(rec, columns = [u"姓名",u"業績" ])
DataFrame方法函數的第一個參數是數據源，第二個參數columns是輸出數據表的表頭，或者說是表格的字段名
DataFrame(sequence)，通過序列構建，序列中的每個元素是一個字典
data.groupby([u'業績']).sum() 以業務為分組統計某一列的總和size()：就是count sum()：分組求和
導出數據csvdata.to_csv(u"D:\scripts\learn\Result.csv", index= True, header=[u'雇員', u'銷售業績'], encoding="utf_8_sig")
解決保存csv文件后，中文亂碼問題。encoding="utf_8_sig"
Sorted = data.sort_values([u"業績"], ascending=False) 以某列進行排序，然后取前幾的值 Sorted.head(3)
pd.read_csv('f:\1024.csv') 讀取CSV文件
print df.head() 讀取前幾行數據,默認5
print df.dtypes 讀物數據類型
print df.describe(include='all') 讀取統計信息
print df.columns 打印出列的信息
print df.index 打印出行的索引信息
print df.T 行列互置
print df.ix[:, 0].head() ix[行,列] 讀取指定的行列數據, head() 默認讀取前5行
df.drop(df.columns[[1, 2]], axis = 1).head() 刪除指定的列
bric = pd.read_excel('/usr/test.xlsx') 處理xlsx文件
print bric.loc['Br'] #讀取行用函數.loc,但顯示是以列顯示的
#顯示'Br'這行的'language'的值有下面幾種方法：
1.一起選擇
print bric.loc['Br','language']
2.取列再取行
print bric['language'].loc['Br']
3.取行再取列
print bric.loc['Br']['language']
4.值就直接['列名']
print bric['language']
插入列：直接bric['要插入的列名']=[要插入的列表數據] ric['aa']=['123','kk','123','mm']
#插入行：bric.loc['Afric']=[25,20,'english','aa']
數據清洗
loandata=pd.DataFrame(pd.read_excel('loandata.xlsx'))
1.數據表中的重復值
loandata.duplicated() 判斷重復值
loandata.drop_duplicates() 刪除重復值
2.數據表中的空值/缺失值
loandata.isnull() 空值 loandata['列名'].isnull().value_counts() #統計某個列的非空值數量
loandata.notnull() 非空值
空值有兩種處理的方法，第一種是使用fillna函數對空值進行填充，可以選擇填充0值或者其他任意值。第二種方法是使用dropna函數直接將包含空值的數據刪除
loandata.fillna(0) 填充空值
loandata.dropna() 刪除空值
3.數據間的空格
loandata['term']=loandata['term'].map(str.strip) 利用strip 進行清查數據間的空格
loandata['term']=loandata['term'].map(str.upper) 大寫
loandata['term']=loandata['term'].map(str.lower) 小寫
loandata['term']=loandata['term'].map(str.title) 首字母大寫
loandata['emp_length'].apply(lambda x: x. isalnum ())判斷是否是數字
loandata['emp_length'].apply(lambda x: x. isdigit ())
loandata['emp_length'].apply(lambda x: x.isalpha())
4更改數據格式
loandata['loan_amnt']=loandata['loan_amnt'].astype(np.int64)
6.數據分組
bins = [0, 5, 10, 15, 20]
group_names = ['A', 'B', 'C', 'D']
loandata['categories'] = pd.cut(loandata['open_acc'], bins, labels=group_names)
對某一列的值進行等級分類
7.數據分列
grade_split = pd.DataFrame((x.split('-') for x in loandata.grade),index=loandata.index,columns=['grade','sub_grade']) 指定分列的數據行所有保持不變
loandata=pd.merge(loandata,grade_split,right_index=True, left_index=True) 合并數據