Python2 和 Python3 中默認編碼的差異

最近在使用 Python3.4 做一些腳本實現，發現對于編碼的處理上和 Python2.6 有很大的不同，就此機會把相關知識做個梳理，方便需要的時候查閱。

先說下概念和差異：

腳本字符編碼：就是解釋器解釋腳本文件時使用的編碼格式，可以通過 # -\*- coding: utf-8 -\*- 顯式指定
解釋器字符編碼：解釋器內部邏輯過程中對 str 類型進行處理時使用的編碼格式
Python2 中默認把腳步文件使用 ASCII 來處理(歷史原因請 Google)
Python2 中字符串除了 str 還有 Unicode，可以用 decode 和 encode 相互轉換
Python3 中默認把腳步文件使用 UTF-8 來處理(終于默認就支持中文了，贊)
Python3 中文本字符和二進制分別使用 str 和 bytes 進行區分，也是使用 decode 和 encode 進行相互轉換

關于默認腳本字符編碼，因為對腳步文件處理的默認編碼格式變了，所以很多針對內容的處理，都發生了變化，比如下面這個腳本。

import sys

print(sys.getdefaultencoding())
print('中文')

使用 Python3.4 解釋器運行結果如下：

> python34 test.py
utf-8
中文

使用 Python2.6 解釋器運行結果如下：

> python26 test.py
  File "test.py", line 4
SyntaxError: Non-ASCII character '\xe4' in file test.py on line 4, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

使用 Python2.6 報錯就是因為第一條說的「Python2 中默認把腳步文件使用 ASCII 來處理」，但是腳步文件包含了中文，ascii 又沒有覆蓋中文，所以報錯。如果我們把腳步稍作修改：

# -*- coding: utf-8 -*-

import sys

print(sys.getdefaultencoding())
print('中文')

增加了腳本字符編碼的說明，再次使用 Python2.6 解釋器運行結果為：

> python26 test.py
ascii
涓枃

因為明確指定了腳步文件編碼格式為 utf-8，所以讀取沒問題，也就是說如果 Python2 腳本文件中包含了非 ASCII 字符時，一定要顯式指定腳步文件編碼格式，對于 Python3 因為默認的腳步文件編碼格式就是 utf-8，所以沒有這個問題(后面會有文章詳細討論這個問題)。

但是我們回頭看下剛才的輸出，結果顯示為亂碼。

亂碼就涉及到另一個我們要說的不同點解釋器字符編碼，因為我們定義了 utf-8 格式讀取腳步內容，但是因為 Python2.6 在 Windows 平臺上，默認是使用 gbk 對字符進行 decode 輸出，不信你看：

> python26
ActivePython 2.6.6.15 (ActiveState Software Inc.) based on
Python 2.6.6 (r266:84292, Aug 24 2010, 16:01:11) [MSC v.1500 32 bit (Intel)] on
win32
Type "help", "copyright", "credits" or "license" for more information.
>>> s='中文'
>>> s
'\xd6\xd0\xce\xc4'
>>> s.decode('gbk').encode('utf-8')
'\xe4\xb8\xad\xe6\x96\x87'
>>> print('\xd6\xd0\xce\xc4')
中文
>>> print('\xe4\xb8\xad\xe6\x96\x87')
涓枃

完整描述下上面亂碼出現的過程：
使用指定的腳本文件編碼 utf-8 格式讀取了「中文」，讀取到的字符串內容為 '\xe4\xb8\xad\xe6\x96\x87'，然后輸出時 Python2.6 的解釋器使用默認解釋器字符編碼 gbk 格式對讀取內容進行 encode 輸出，但是之前 utf-8 是 3 個字節長度表示一個中文，而 gbk 是用 2 個字節長度來表示中文，所以之前的 2 個中文，在輸出的時候就按照 3 個中文進行編碼(encode)，當然就亂碼了，仔細看那個亂碼，就是 3 個字。

我們再用代碼驗證下上面說的內容：

# -*- coding: utf-8 -*-

import sys

print(sys.getdefaultencoding())
print('中文')
print('\xe4\xb8\xad\xe6\x96\x87')
print('\xe4\xb8\xad\xe6\x96\x87'.decode('gbk', 'ignore'))
print('\xd6\xd0\xce\xc4'.decode('gbk').encode('utf-8'))
print('中文'.decode('utf-8'))
print('\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8'))
print('\xd6\xd0\xce\xc4')
print('\xd6\xd0\xce\xc4'.decode('gbk'))

看看輸出結果：

> python26 test.py
ascii
涓枃
涓枃
涓枃
涓枃
中文
中文
中文
中文

很明顯 gbk 格式解碼的十六進制字符正常輸出為中文了，顯式使用 utf-8 對 utf-8 格式的十六進制字符進行 decode 也輸出正常了。

同理，還可以看到另外 2 個現象：

把 py 文件用 utf-8 格式存儲，并且包含「中文」字樣時，如果使用 gbk 格式打開，也是看到「中文」顯示的亂碼和上面程序輸出的一致；
如果把 py 文件使用 gbk 格式存儲，這時候 print('中文') 也顯示正常了；

亂碼的終極原因就是：對同一個字符串的 encode 和 decode 編碼格式不一致。

上面說的這個問題，如果文件存儲和腳本文件編碼都使用 utf-8 時，使用 Python3.4 是沒有問題的，因為 Python3 默認的解釋器字符編碼是 utf-8 了，默認就可以處理中文了。

總結下結論：

1. Python2 腳步文件盡量使用 gbk 格式存儲；同理 Python3 腳步文件盡量使用 utf-8 格式存儲；
2. Python2 腳步如果帶有中文字符時，請務必在腳本開頭聲明能支持中文的腳本文件編碼；
3. Python2 中對同一個字符串的 encode 和 decode 編碼格式請保持一致；

說明：本次所有測試腳本文件均保存為 utf-8 格式

本文原創發布于公眾號「sylan215」，十年測試老兵的原創干貨，關注我，漲姿勢！