nltk同时也能处理中文的场景，只要做如下改动： 使用中文分词器(如我选用了结巴分词) 对中文字符做编码处理，使用unicode编码方式 python的源码编码统一声明为 gbk 使用支持中文的语料库 to be continue......
分类：
其他好文 时间：
2014-09-17 10:30:22
阅读次数：
275
github.com/hydra13142/chardet 以上就是地址。支持中文编码（hz-gb2312、big5、gbk、gb18030）、韩文编码（euc-kr）、日文编码（shift-jis、euc-jp、iso-2022-jp）和unicode编码（UTF-8、UTF-16BE、UTF-1...
分类：
编程语言 时间：
2014-09-17 02:28:01
阅读次数：
385
Unicode简单的说一下制作网页时的为了兼顾到一些浏览器CSS样式文档中一般是不出 现中文字体的，尤其是{}中，因此通过参照下表将其对应转编，可以将中文名转成英文 名、unicode、unicode2注意unicode2是直接输出为文本的， 比如：微软雅黑，我们在CSS中的设置为：1fo...
分类：
Web程序 时间：
2014-09-16 18:48:10
阅读次数：
266
——每个软件开发人员应该无条件掌握的知识！ ——Unicode伟大的创想！ 相信大家一定碰到过，打开某个网页，却显示一堆像乱码，如"б?ЯАзЪСЯ"、"?????????"？还记得HTTP中的Accept-Charset、Accept-Encoding、Accept-Language、Conten...
分类：
其他好文 时间：
2014-09-16 18:41:30
阅读次数：
494
UNICODE 7.0定义了78个表情符，从0x1F600到0x1F64F（其中0x1F643和0x1F644没有定义）。下表中列出了这些表情符，如果第一列CHART没有显示，说明你的浏览器还不支持。参考资料：http://www.unicode.org/Public/7.0.0/charts/Co...
分类：
其他好文 时间：
2014-09-16 12:06:30
阅读次数：
177
Css中常用中文字体的Unicode编码对照在网页制作中，最常用的恐怕是字体属性了，在调整页面兼容的时候，也常常发现字体名称的原因导致不兼容或乱码，下面给出几种常用字体的ucicode编码对照，方便使用。宋体SimSun\5B8B\4F53黑体SimHei\9ED1\4F53微软雅黑Microsof...
分类：
Web程序 时间：
2014-09-15 15:30:49
阅读次数：
264
nicode下字符经常需要转化，还是比较麻烦的。
但是Unicode支持跨平台 而且系统内部也使用Unicode 因此我们一般仍需要使用该编码方式。...
分类：
其他好文 时间：
2014-09-14 18:08:57
阅读次数：
158
MinGW编译wxWidgetMinGW编译wxWidgetWXWIN：源代码根目录解压源码进入到%WXWIN%\build\msw清理项目mingw32-make -f makefile.gcc SHARED=1 UNICODE=1 BUILD=release clean编译动态库，发行版ming...
分类：
其他好文 时间：
2014-09-12 23:25:14
阅读次数：
230
最近搞u3d开发，把一些文本文件打成包，发布到手机上，发现各种乱码，结果法线是各种编码方式不对，于是好好研究了一下不同平台上的字符编码，然后发现以前一直认为的unicode utf8 gbk asc2这些字符编码自以为很懂，其实完全理解的不对，在这方面也是因为有太多的网上文档在误人子弟，这里好好梳理一下...
分类：
其他好文 时间：
2014-09-12 19:10:37
阅读次数：
232
字符编码详解版本：v2.2CrifanLi摘要本文主要介绍了字符编码的基础知识，以及常见的字符编码类型，比如ASCII，Unicode，UTF-8，ISO 8859等，以及各种编码之间的关系，同时专门解释了中文字符相关的编码标准，包括GB2312，GBK，GB18030，也专门解释了Windows系...
分类：
其他好文 时间：
2014-09-12 13:17:55
阅读次数：
573
