Ansj 中文分词 1.41 发布 - 开源中国社区
Ansj 中文分词 1.41 发布
ansj 2014年05月13日

Ansj 中文分词 1.41 发布

ansj ansj 发布于2014年05月13日 收藏 68 评论 4

腾讯云-1小时搭建人工智能应用,让技术更容易入门>>>  

ansj中文分词是一个完全开源的,基于google语义模型+条件随机场模型的中文分词的java实现.具有使用简单开箱即用等特点。分词速度达到每秒钟大约100万字左右(mac air下测试),准确率能达到96%以上

Ansj 中文分词 1.41 版本发布,

新增功能

  • 增加了调用文档说明

  • 调整了关键词抽取

  • 增加了摘要计算

  • 关键词标红

  • 大幅度提高了命名实体识别

  • 对于词性标注提供了基于概率的快速标注方式.依旧保留给予隐马模型的词性标注.

  • 修复了目前已知的所有bug

  • 大量修正了之前默认用户自定义词典中词性错误

  • 提供了给予crf++ wapiti等条件随即场工具的调用接口.用户可以及自定义训练model

  • 增加了目前对最新版的lucene , solr(@梁山伯) elasticsearch(@4onni) 开源第三方搜索框架的分词插件.

效果测试

  • 新词发现

    • 未登陆词识别

      example:NER:我要碎觉吊丝要小心!城西嘉南公寓 
      result:命名/v 实体/n ner/en : 我/r 要/v 碎觉/nw 吊丝/n 要/v 小心/v !/w 城西嘉南公寓/nw

    • 中文人名识别

      example:邓颖超生前和刘晓辉同学合影李民工作了一天 
      result:邓颖超/nr 生前/t 和/c 刘晓辉/nr 同学/n 合影/v , 李民/nr 工作/vn 了/ul 一天/m

    • 外国人名识别

      example:NER:本赛季德甲球队霍芬海姆的两名年轻球员菲尔米诺和福兰德表现出色,但球队主帅吉斯多尔态度强硬。 
      result:本赛季/n 德甲/n 球队/n 霍芬海姆/nrf 的/uj 两名/m 年轻/a 球员/n 菲尔米诺/nrf 和/c 福兰德/nr 表现出色/n ,/w 但/c 球队/n 主帅/n 吉斯多尔/nrf 态度强硬/n 。/w

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Ansj 中文分词 1.41 发布
分享
评论(4)
最新评论
0
中文的奥妙岂是几万行代码就能解读的?分成不易,且分且惜。
0

引用来自“断舍离”的评论

题目:请解释下文中每个“意思”的意思。
阿呆给领导送红包时,两人的对话颇有意思。
领导:“你这是什么意思?”
阿呆:“没什么意思,意思意思。”
领导:“你这就不够意思了。”
阿呆:“小意思,小意思。”
领导:“你这人真有意思。”
阿呆:“其实也没有别的意思。”
领导:“那我就不好意思了。”
阿呆:“是我不好意思。”
结果:老外泪流满面,交白卷回国了。。。

引用来自“yfwz100”的评论

这个和分词关系不太大吧,分词只需要识别出结构就好了。。。
感觉楼主其实是讲个笑话,没别的意思。
0

引用来自“断舍离”的评论

题目:请解释下文中每个“意思”的意思。
阿呆给领导送红包时,两人的对话颇有意思。
领导:“你这是什么意思?”
阿呆:“没什么意思,意思意思。”
领导:“你这就不够意思了。”
阿呆:“小意思,小意思。”
领导:“你这人真有意思。”
阿呆:“其实也没有别的意思。”
领导:“那我就不好意思了。”
阿呆:“是我不好意思。”
结果:老外泪流满面,交白卷回国了。。。
这个和分词关系不太大吧,分词只需要识别出结构就好了。。。
0
题目:请解释下文中每个“意思”的意思。
阿呆给领导送红包时,两人的对话颇有意思。
领导:“你这是什么意思?”
阿呆:“没什么意思,意思意思。”
领导:“你这就不够意思了。”
阿呆:“小意思,小意思。”
领导:“你这人真有意思。”
阿呆:“其实也没有别的意思。”
领导:“那我就不好意思了。”
阿呆:“是我不好意思。”
结果:老外泪流满面,交白卷回国了。。。
顶部