Python學習教程：Python數據分析實戰基礎 | 初識Pandas

這段時間和一些做數據分析的同學閑聊，我發現數據分析技能入門階段存在一個普遍性的問題，很多憑著興趣入坑的同學，都能夠很快熟悉Python基礎語法，好像自己什么都會了一點，然而實際操作起來既不知從何操起，又漏洞百出。

至于原因嘛， 理解不夠，實踐不夠是兩條老牌的攔路虎，只能靠自己來克服。還有一個非常有意思且經常被忽視的因素—— 陷入舉三反一的懵逼狀態。

什么意思呢？假如我是個旱鴨子，想去學游泳，教練很認真的給我剖析了蛙泳的動作，扶著我的腰讓我在水里劃拉了5分鐘，接著馬上給我講解了蝶泳，又是劃拉了5分鐘，然后又硬塞給我潛泳的姿勢，依然是劃拉5分鐘。最后，教練一下子把我丟進踩不到底的泳池，給我吶喊助威。

作為一個還沒入門的旱鴨子，教練傾囊授了我3種游泳技巧，讓我分別實踐了5分鐘。這樣做的結果就是我哪一種游泳技巧也沒學會，只學會了喝水。 當一個初學者一開始就陷入針對單個問題的多種解決方法，而每一種方法的實踐又淺嘗輒止，在面對具體問題時往往會手忙腳亂。

拿Pandas來說，它的多種構造方式，多種索引方式以及類似效果的多種實現方法，很容易把初學者打入舉三反一的懵逼狀態。所以，盡量避開這個坑也是我寫Pandas基礎系列的初衷，希望通過梳理和精簡知識點的方式，給需要的同學一些啟發。目前暫定整個基礎系列分為4篇，基礎篇過后便是有趣的實戰篇。

下面開始進入正題（我真是太嘮叨了）。

Pandas簡介

江湖上流傳著這么一句話——分析不識潘大師（PANDAS），縱是老手也枉然。

Pandas是基于Numpy的專業數據分析工具，可以靈活高效的處理各種數據集，也是我們后期分析案例的神器。它提供了兩種類型的數據結構，分別是DataFrame和Series，我們可以簡單粗暴的把DataFrame理解為Excel里面的一張表，而Series就是表中的某一列，后面學習和用到的所有Pandas騷操作，都是基于這些表和列進行的操作（關于Pandas和Excel的形象關系，這里推薦我的好朋友張俊紅寫的《對比EXCEL，輕松學習Python數據分析》)。

這里有一點需要強調，Pandas和Excel、SQL相比，只是調用和處理數據的方式變了， 核心都是對源數據進行一系列的處理，在正式處理之前，更重要的是 謀定而后動，明確分析的意義，理清分析思路之后再處理和分析數據，往往事半功倍。

創建、讀取和存儲

1、創建

在Pandas中我們想要構造下面這一張表應該如何操作呢？

別忘了，第一步一定是先導入我們的庫——import pandas as pd

構造DataFrame最常用的方式是字典+列表，語句很簡單，先是字典外括，然后依次打出每一列標題及其對應的列值（此處一定要用列表），這里列的順序并不重要：

左邊是jupyter notebook中dataframe的樣子，如果對應到excel中，他就是右邊表格的樣子，通過改變columns,index和values的值來控制數據。

PS,如果我們在創建時不指定index，系統會自動生成從0開始的索引。

2、 讀取

更多時候，我們是把相關文件數據直接讀進PANDAS中進行操作，這里介紹兩種非常接近的讀取方式，一種是CSV格式的文件，一種是EXCEL格式（.xlsx和xls后綴）的文件。

讀取csv文件：

engine是使用的分析引擎，讀取csv文件一般指定python避免中文和編碼造成的報錯。而讀取Excel文件，則是一樣的味道：

非常easy，其實read_csv和read_excel還有一些參數，比如header、sep、names等，大家可以做額外了解。實踐中數據源的格式一般都是比較規整的，更多情況是直接讀取。

3、存儲

存儲起來一樣非常簡單粗暴且相似：

快速認識數據

這里以我們的案例數據為例，迅速熟悉查看N行，數據格式概覽以及基礎統計數據。

1、查看數據，掐頭看尾

很多時候我們想要對數據內容做一個總覽，用df.head()函數直接可以查看默認的前5行，與之對應，df.tail()就可以查看數據尾部的5行數據，這兩個參數內可以傳入一個數值來控制查看的行數，例如df.head(10)表示查看前10行數據。

2、 格式查看

df.info()幫助我們一步摸清各列數據的類型，以及缺失情況：

從上面直接可以知道數據集的行列數，數據集的大小，每一列的數據類型，以及有多少條非空數據。

3、統計信息概覽

快速計算數值型數據的關鍵統計指標，像平均數、中位數、標準差等等。

我們本來有5列數據，為什么返回結果只有兩列？那是因為這個操作只針對數值型的列。其中count是統計每一列的有多少個非空數值，mean、std、min、max對應的分別是該列的均值、標準差、最小值和最大值，25%、50%、75%對應的則是分位數。

列的基本處理方式

這里，我們采用SQL四大寶的邏輯來簡單梳理針對列的基本處理方式—— 增、刪、選、改。

溫馨提示：使用Pandas時，盡量避免用行或者EXCEL操作單元格的思維來處理數據，要逐漸養成一種列向思維，每一列是同宗同源，處理起來是嗖嗖的快。

1、增

增加一列，用df['新列名'] = 新列值的形式，在原數據基礎上賦值即可：

2、刪：

我們用drop函數制定刪除對應的列，axis = 1表示針對列的操作，inplace為True，則直接在源數據上進行修改，否則源數據會保持原樣。

3、選：

想要選取某一列怎么辦？df['列名']即可：

選取多列呢？需要用列表來傳遞：df[['第一列','第二列','第三列'..]]

4、 改：

好事多磨，復雜的針對特定條件和行列的篩選、修改，放在后面結合案例細講，這里只講一下最簡單的更改：df['舊列名'] = 某個值或者某列值，就完成了對原列數值的修改。

常用數據類型及操作

1、字符串

字符串類型是最常用的格式之一了，Pandas中字符串的操作和原生字符串操作幾乎一毛一樣，唯一不同的是需要在操作前加上".str"。

小Z溫馨提示：我們最初用df2.info()查看數據類型時，非數值型的列都返回的是object格式，和str類型深層機制上的區別就不展開了，在常規實際應用中，我們可以先理解為object對應的就是str格式，int64對應的就是int格式，float64對應的就是float格式即可。

在案例數據中，我們發現來源明細那一列，可能是系統導出的歷史遺留問題，每一個字符串前面都有一個“-”符號，又丑又無用，所以把他給拿掉：

一般來說清洗之后的列是要替換掉原來列的：

2、 數值型

數值型數據，常見的操作是計算，分為與單個值的運算，長度相等列的運算。

以案例數據為例，源數據訪客數我們是知道的，現在想把所有渠道的訪客都加上10000，怎么操作呢？

只需要選中訪客數所在列，然后加上10000即可，pandas自動將10000和每一行數值相加，針對單個值的其他運算（減乘除）也是如此。

列之間的運算語句也非常簡潔。源數據是包含了訪客數、轉化率和客單價，而實際工作中我們對每個渠道貢獻的銷售額更感興趣。（銷售額 = 訪客數 X 轉化率 X 客單價）

對應操作語句：df['銷售額'] = df['訪客數'] * df['轉化率'] * df['客單價']

但為什么瘋狂報錯？

導致報錯的原因，是數值型數據和非數值型數據相互計算導致的。PANDAS把帶“%”符號的轉化率識別成字符串類型，我們需要先拿掉百分號，再將這一列轉化為浮點型數據：

要注意的是，這樣操作，把9.98%變成了9.98，所以我們還需要讓支付轉化率除以100，來還原百分數的真實數值：

然后，再用三個指標相乘計算銷售額：

3、時間類型

PANDAS中時間序列相關的水非常深，這里只對日常中最基礎的時間格式進行講解，對時間序列感興趣的同學可以自行查閱相關資料，深入了解。

以案例數據為例，我們這些渠道數據，是在2019年8月2日提取的，后面可能涉及到其他日期的渠道數據，所以需要加一列時間予以區分，在EXCEL中常用的時間格式是'2019-8-3'或者'2019/8/3'，我們用PANDAS來實現一下：

在實際業務中，一些時候PANDAS會把文件中日期格式的字段讀取為字符串格式，這里我們先把字符串'2019-8-3'賦值給新增的日期列，然后用to_datetime()函數將字符串類型轉換成時間格式：

轉換成時間格式（這里是datetime64）之后，我們可以用處理時間的思路高效處理這些數據，比如，我現在想知道提取數據這一天離年末還有多少天（'2019-12-31'），直接做減法（該函數接受時間格式的字符串序列，也接受單個字符串）：

是不是非常簡單？