字符串編碼
python中默認編碼是ASCII,可以通過以下方式設置和獲取:
import sys
print sys.getdefaultencoding()
sys.setdefaultencoding('gbk')
但直到python重新啟動後新的默認編碼才會生效,我試了一下,setdefaultencoding總是會出錯,沒有這個屬性。用dir看,確實沒有,python版本是2.5,不知道是否被取消了。
使用print來輸出時,python將內容傳遞給系統處理,windows會按照系統默認編碼來輸出。如果包含了中文,就要注意幾點。
1 python代碼文件的編碼
py文件默認是ASCII編碼,中文在顯示時會做一個ASCII到系統默認編碼的轉換,這時就會出錯:SyntaxError: Non-ASCII character。需要在代碼文件的第一行或第二行添加編碼指示:
1 # coding=gbk
2 print '中文'
2 字符串的編碼
像上面那樣直接輸入的字符串是按照代碼文件的編碼來處理的,如果是unicode編碼,有以下三種方式:
1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')
unicode是一個內置函數,第二個參數指示源字符串的編碼格式。
decode是任何字符串具有的方法,將字符串轉換成unicode格式,參數指示源字符串的編碼格式。
encode也是任何字符串具有的方法,將字符串轉換成參數指定的格式。
3 系統的默認編碼
對 於中文系統來說,默認的是gbk,gb2312也可以,因為它是gbk的字集。使用print輸出時,字符串會被轉換成此格式,隱式轉換時,是從代碼文件 編碼格式轉換成gbk,默認是ASCII->GBK。考慮上面第二點,如果字符串編碼不是ASCII,則隱式轉換會出錯,需要顯式轉換,使用 encode方法。如果指定了代碼文件格式為gbk,則隱式轉換不存在問題。
1 # coding=gbk
2
3 s = u'中文'
4 print s.encode('gbk')
文件讀寫
只是ASCII或者gbk編碼格式的的文件讀寫,比較簡單,讀寫如下:
1 # coding=gbk
2
3 f = open('c:/intimate.txt','r') # r 指示文件打開模式,即只讀
4 s1 = f.read()
5 s2 = f.readline()
6 s3 = f.readlines() #讀出所有內容
7
8 f.close()
9
10 f = open('c:/intimate.txt','w') # w 寫文件
11 f.write(s1)
12 f.writelines(s2) # 沒有writeline
13 f.close()
f.writelines不會輸出換行符。
unicode文件讀寫:
1 # coding=gbk
2 import codecs
3
4 f = codecs.open('c:/intimate.txt','a','utf-8')
5 f.write(u'中文')
6 s = '中文'
7 f.write(s.decode('gbk'))
8 f.close()
9
10 f = codecs.open('c:/intimate.txt','r','utf-8')
11 s = f.readlines()
12 f.close()
13 for line in s:
14 print line.encode('gbk')
#---------------------------------------------------------------------------------------
以上為轉發的內容,下面為我做的一些補充。
對於上文中'setdefaultencoding總是會出錯'這個問題,可以通過以下方式解決:
import sys
reload(sys)
print sys.getdefaultencoding()
sys.setdefaultencoding('utf-8')
通過上面的代碼,應該就可以把系統的編碼方式更改了.
在我們對一個不規范合法的編碼字符串進行解碼時會拋出異常:
>>> s = "/x84/xe5/xb0/x8f/xe6/x98/x8e"
>>> s.decode('utf-8')
Traceback (most recent call last):
File "<interactive input>", line 1, in ?
File "E:/Program Files/Python24/lib/encodings/utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>>
下面對s進行分析:
把s轉換為二進制代碼為:10000100 11100101 10110000 10001111 10110110 10011000 10001011
對這段二進制代碼分析:第一個字節為10000100,而在utf-8編碼規范規定0x80 到 0xBF 范圍內的字節,只是跟隨字節, 它們本身並不是字符,因此此處把它放到第一個字節處不不合法的。然後對第二個字節進行分析可看出它左邊有三個連續的1,這意味著第二個字節和隨後的兩個字節,(即11100101 10110000 10001111 )共三個字節一起編碼為一個字符。同理可分析出後面的三個字節編碼為一個字符。
因此我們只要把第一個不合法的字節去掉,就可以正常解碼了
>>> s = '/xe5/xb0/x8f/xe6/x98/x8e'
>>> print s.decode('utf-8')
小明
>>>
問題是如果我們不知道字符裡的不合法字節的位置時該怎麼進行解碼並的出正常編碼的那些字符的結果呢,我們可以使用如下兩種方法:
>>> s = '/x84/xe5/xb0/x8f/xe6/x98/x8e/x84'
>>> s.decode('utf-8')
Traceback (most recent call last):
File "<interactive input>", line 1, in ?
File "E:/Program Files/Python24/lib/encodings/utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>> print s.decode('utf-8', 'ignore')
小明
>>> print s.decode('utf-8', 'replace')
?小明?
>>>
由上面的代碼我們可以看到調用decode函數時第二個參數為對於不合法(即錯誤)的字節處理的方式,默認情況下為'strict',即出現錯誤字節就拋出異常。而'ignore'方式,則會忽略字符串中不合法的字節,'replace'方式下會用固定的字節替換掉那些不合法的字節。
--------------------------------------分割線 --------------------------------------
CentOS上源碼安裝Python3.4 http://www.linuxidc.com/Linux/2015-01/111870.htm
《Python核心編程 第二版》.(Wesley J. Chun ).[高清PDF中文版] http://www.linuxidc.com/Linux/2013-06/85425.htm
《Python開發技術詳解》.( 周偉,宗傑).[高清PDF掃描版+隨書視頻+代碼] http://www.linuxidc.com/Linux/2013-11/92693.htm
Python腳本獲取Linux系統信息 http://www.linuxidc.com/Linux/2013-08/88531.htm
在Ubuntu下用Python搭建桌面算法交易研究環境 http://www.linuxidc.com/Linux/2013-11/92534.htm
Python 語言的發展簡史 http://www.linuxidc.com/Linux/2014-09/107206.htm
Python 的詳細介紹:請點這裡
Python 的下載地址:請點這裡