通用字符编码检测器 Chardet

LGPL
Python
跨平台
2017-03-03
王练

Chardet 是一款通用字符编码检测器。

支持

  • ASCII、UTF-8、UTF-16(2种变体)、UTF-32(4种变体)

  • Big5、GB2312、EUC-TW、HZ-GB-2312、ISO-2022-CN(繁体中文和简体中文)

  • EUC-JP、SHIFT_JIS、CP932、ISO-2022-JP(日语)

  • EUC-KR、ISO-2022-KR(韩语)

  • KOI8-R、MacCyrillic、IBM855、IBM866、ISO-8859-5、windows-1251(斯拉夫语)

  • ISO-8859-5、windows-1251(保加利亚文)

  • ISO-8859-1、windows-1252(西欧语言)

  • ISO-8859-7、windows-1253(希腊语)

  • ISO-8859-8、windows-1255(希伯来语)

  • TIS-620(泰语)

注意: ISO-8859-2 和 windows-1250 (Hungarian)  检测器模型有待重新训练,暂时还不可用。

要求 Python 2.6 及以上版本

安装

PyPI :

pip install chardet
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

【ZZ】Python chardet 字符编码判断

使用 chardet 可以很方便的实现字符串/文件的编码检测。尤其是中文网页,有的页面使用GBK/GB2312,有的使用UTF8,如果你需要去爬一些页面,知道网页编码很重要的,虽然HTML页面有charset标签...

2013/07/26 15:47
107
0
Bad md5 hash for package

root@master conn]# pip install chardet==2.2.1 Collecting chardet==2.2.1 /usr/lib/python2.6/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:79: InsecurePlatformW...

2015/06/19 18:54
47
0
Bad md5 hash for package

[root@master conn]# pip install chardet==2.2.1 Collecting chardet==2.2.1 /usr/lib/python2.6/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:79: InsecurePlatform...

2015/05/18 14:12
266
0
python 模块 chardet

python 模块 chardet下载及介绍 在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效...

2014/11/10 21:04
25
0
【ZZ】python 模块 chardet下载及介绍

在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常...

2013/07/26 15:45
151
0
python 模块 chardet下载及介绍(转)

python 模块 chardet下载及介绍(转) 在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一...

2013/05/16 11:31
204
0
Scrapy中文乱码

Scrapy默认读取的内容ascii编码,而对中文不言而喻会出错,中文三大编码,后面的标准是前面标准的扩展。 GB2312 < GBK < GB18030 Scrapy项目获取文本编码的方法有: 1. 安装chardet第三方包,...

2013/07/12 17:13
3.1K
0
OpenERP 自动编码去BOM(可用excel编辑)web-import-chardet

openerp-web-import-chardet 作者:wangbuke@gmail.com 源码托管地址: https://github.com/buke/openerp-web-import-chardet OE apps 下载地址: http://apps.openerp.com/addon/8098 功能:...

2012/09/05 22:51
1K
0
python 文件编码获取 与编码转换

简单的python 爬虫及编码转换

2016/03/16 17:50
61
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部