编码规则
UTF-8编码:一个英文字符等于一个字节,一个中文(含繁体)等于三个字节Unicode编码:一个英文等于两个字节,一个中文(含繁体)等于两个字节。
验证:
记事本中写1个汉字,查看文件的大小
gbk:2字节 | unicode:4字节 | utf-8: 6字节
记事本中写2个汉字,查看文件的大小
gbk:4字节 | unicode:6字节 | utf-8: 9字节
好像有问题,除了gbk之外,另外两种编码完全不符合编码规则。。。,最后通过可查看16进制编辑器(UltraEdit)查看文件的内容发现记事本 对于 unicode、utf-8编码开头会加一个字符,分别占用一个汉字的空间(2字节、3字节),所以去除这个字符占用字符应该是这样的。
记事本中写1个汉字,查看文件的大小
gbk:2字节 | unicode:2字节 | utf-8: 3字节
记事本中写2个汉字,查看文件的大小
备注:gbk:4字节 | unicode:4字节 | utf-8: 6字节
str = "考" <span style="white-space:pre"> </span>for item in str: <span style="white-space:pre"> </span>print item.encode("hex") #每个汉子 使用3个字节
原文地址:http://blog.csdn.net/metecyu/article/details/43986905