笔记四：python乱码深度剖析二-白红宇

笔记四：python乱码深度剖析二

阅读量：4937 次

发布时间：2019-06-11

本文共 2747 字，大约阅读时间需要 9 分钟。

一：学习内容

获取更改系统编码

判断字符的编码类型

文件存储和读取的编码

二：获取更改系统编码

1. 获取系统编码

import sys

print sys.getdefaultencoding()

2. 更改系统编码

#encoding=utf-8

import sys

reload(sys)

sys.setdefaultencoding('UTF-8')

print 1,sys.getdefaultencoding()

print 2,type(u"我")

print 3,type("我")

print 4,u"我"

print 5,"我"

print 6,u"我".encode('utf-8')

print 7,u"我".decode('utf-8')

print 8,"我".encode('utf-8').decode('utf-8')

print 9,"我".decode('utf-8').encode('gbk')

print 10,"我".encode('gbk')

运行结果为：

问题一：为什么要reload sys模块

在site.py文件里有这么一段代码:

if hasattr(sys, "setdefaultencoding"):

　　del sys.setdefaultencoding

在sys加载后,setdefaultencoding方法被删除了,所以我们要通过重新导入sys来设置系统编码。

问题二：为什么print 4,u"我"可以打印正常，print 5,"我"打印乱码

字符串的打印，python的逻辑为：如果是unicode字符串，则可以自动编码为终端所用编码，然后正确显示出来。所以u"我"实际上将"我"进行了decode成了unicode字符，然后python将unicode字符串自动化编码为gbk(我的cmd的编码)

而print 5,”我”，字符串编码为utf-8类型(文件保存的类型)，输出到cmd为gbk类型的终端上，则无法显示。

问题三：为什么print 8,"我".encode('utf-8').decode('utf-8')可以打印正常，print 6,u"我".encode('utf-8')打印乱码

因为我是str类型，在encode前，python自动会用默认编码(setdefaultencoding)进行decode为unicode类型，但是如果默认编码为ascii，是不支持decode的。

可以看到文件里修改了默认编码为utf-8，所以"我".encode('utf-8').decode('utf-8')这句首先会decode('utf-8')为unicode类型，然后在encode('utf-8').decode('utf-8')，此时”我”已经变成了unicode类型，如果是unicode字符串，则可以自动编码为终端所用编码(这是问题一中提到的)，这样就能输出到cmd终端了。

然后我们再说为什么print 6,u"我".encode('utf-8')会乱码呢，上面已经讲了在encode('utf-8')之前会decode('utf-8')为unicode类型，然后在执行.encode('utf-8')，此时”我”会被编码成utf-8，然后print输出到cmd的gbk终端，由于编码不统一，就会乱码。

三：判断字符的编码类型

1. chardet.detect(字符内容)

#encoding=utf-8

import chardet

import urllib

TestData = urllib.urlopen('http://www.baidu.com/').read()

print chardet.detect(TestData)