中文处理工具包 FoolNLTK

Apache
Python
跨平台
2017-12-21
正_午

FoolNLTK

中文处理工具包

特点

  • 可能不是最快的开源中文分词,但很可能是最准的开源中文分词

  • 基于BiLSTM模型训练而成

  • 包含分词,词性标注,实体识别, 都有比较高的准确率

  • 用户自定义词典

Install

pip install foolnltk

使用说明

分词

import fool

text = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']

命令行分词

python -m fool [filename]

用户自定义词典

词典格式格式如下,词的权重越高,词的长度越长就越越可能出现, 权重值请大于1

难受香菇 10
什么鬼 10
分词工具 10
北京 10
北京天安门 10

加载词典

import fool
fool.load_userdict(path)
text = "我在北京天安门看你难受香菇"
print(fool.cut(text))
# ['我', '在', '北京天安门', '看', '你', '难受香菇']

删除词典

fool.delete_userdict();

词性标注

import fool

text = "一个傻子在北京"
print(fool.pos_cut(text))
#[('一个', 'm'), ('傻子', 'n'), ('在', 'p'), ('北京', 'ns')]

实体识别

import fool 

text = "一个傻子在北京"
words, ners = fool.analysis(text)
print(ners)
#[(5, 8, 'location', '北京')]

注意

  • 暂时只在Python3 Linux 平台测试通过

的码云指数为
超过 的项目
加载中

评论(4)

简云枫
你好,请问如何自训练 实体识别
pan_python
pan_python
es怎么使用这个分词器
NickWilde
NickWilde
666 似乎还不错
宇林木风
基于Bi-LSTM-CRF网络训练的吗?感觉就看训练语料的质量和规模了。

FoolNLTK 发布 Java 版,基于深度学习的中文文本处理工具

FoolNLTK 是一款基于深度学习的中文文本处理工具,暂时包含分词,词性标注,实体识别。现发布 Java 版。 <dependency>   <groupId>me.midday</groupId>   <artifactId>JFoolNLTK</arti...

2018/03/13 09:41

FoolNLTK 基于深度学习的分词工具首次发布

FoolNLTK 是基于深度学习的开源分词工具 主要有以下特点: 可能不是最快的开源中文分词,但很可能是最准的开源中文分词 基于BiLSTM模型训练而成 包含分词,词性标注,实体识别, 都有比较高的...

2017/12/21 17:03

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

部分常用分词工具使用整理

以下分词工具均能在Python环境中直接调用(排名不分先后)。 1、jieba(结巴分词) 免费使用 2、HanLP(汉语言处理包) 免费使用 3、SnowNLP(中文的类库) 免费使用 4、FoolNLTK(中文处理工...

05/29 09:35
10
0
hanlp和jieba等六大中文分工具的测试对比

本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由 水...琥珀 完成的。相关测试的文章之前也看到过一些,但本篇阐述的可以说是比...

02/25 11:09
103
0
目前常用的自然语言处理开源项目/开发包汇总

中文主要有:NLTK,FoolNLTK,HanLP(java版本),pyhanlp(python版本),Ansj,THULAC,结巴分词,FNLP,哈工大LTP,中科院ICTCLAS分词,GATE,SnowNLP,东北大学NiuTrans,NLPIR,; 英文...

2018/11/26 09:56
42
0
准确实用,7个优秀的开源中文分词库推荐

中文分词是中文文本处理的基础步骤,也是中文人机自然语言交互的基础模块。由于中文句子中没有词的界限,因此在进行中文自然语言处理时,通常需要先进行分词。 纵观整个开源领域,陆陆续续做...

2018/11/28 17:00
21
0
准确实用,7个优秀的开源中文分词库推荐

中文分词是中文文本处理的基础步骤,也是中文人机自然语言交互的基础模块。由于中文句子中没有词的界限,因此在进行中文自然语言处理时,通常需要先进行分词。 纵观整个开源领域,陆陆续续做...

2018/07/25 19:05
6.7K
13
Hanlp等七种优秀的开源中文分词库推荐

中文分词是中文文本处理的基础步骤,也是中文人机自然语言交互的基础模块。由于中文句子中没有词的界限,因此在进行中文自然语言处理时,通常需要先进行分词。 纵观整个开源领域,陆陆续续做...

2018/10/12 09:49
215
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部