CRF 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
CRF 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票

软件简介

中文分词是互联网应用不可缺少的基础技术之一,也是其他语音和语言产品必不可少的技术组件。

自2003年第一届国际中文分词评测以来,由字构词的分词方法获得了压倒性优势,国内主要通过CRF++开源软件包来学习该分词方法,但是CRF++过于复杂的代码结构,导致了该算法的普及率。

CRF中文分词开源版仅仅包含CRF++软件包中分词解码器部分,简化了CRF++复杂代码结构,清除了分词解码器不需要的代码,大大提高了分词解码器的可读性和可懂度。同时为了方便学习者可视化跟踪和调试代码,在Windows平台下分别建立了VC6.0和VS2008两个工程文件,使得VC6.0用户和VS2008用户都能轻玩转中文分词。

开源包中的分词知识库较小,分词精度较低,仅供学习Crf分词算法使用,可以通过如下途径获得更高精度的分词知识库和更高速度的分词引擎DLL或OCX:
1)致电 nlptech360@gmail.com 或者 langiner@gmail.com
2)在博客 http://langiner.blog.51cto.com 留言
3)在搜索引擎上搜索:极速分词

展开阅读全文

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2016/08/22 12:24

CRF++代码分析

本文按照调用顺序抽丝剥茧地分析了CRF++的代码,详细注释了主要函数,并指出了代码与理论公式的对应关系。内容包括拟牛顿法的目标函数、梯度、L2正则化、L-BFGS优化、概率图构建、前向后向算法、维特比算法等。背景知识请参考《条件随机场》。训练先从训练开始说起吧/** * 命令行式训练 * @param argc 命令个数 * @param...

0
0
发表于AI & 大数据专区
05/22 19:40

最通俗易懂的BiLSTM-CRF模型中的CRF层讲解

向AI转型的程序员都关注了这个号👇👇👇 人工智能大数据与深度学习 公众号:datayx 本文翻译自GitHub博客上的原创文章,结尾有原文链接。文章没有晦涩的数学公式,而是通过实例一步一步讲解CRF的实现过程,是...

0
0
发表了博客
06/05 11:48

MRF和CRF的理解

概率图模型中,贝叶斯是有向图,马尔可夫是无向图。 马尔可夫随机场 条件随机场 联合概率密度P(y) 条件概率,在变量的基础上增加了特征 P(y|x) CRF变量子集上存在有向依赖的马尔可夫网 ——《概率图模型》厚书 CRF是给定随机变量X条件下,随机变量Y的马尔科夫随机场。 ——《统计学习》李航 定义:设有联合概率分布P(Y),...

0
0
03/25 07:30

BiLSTM上的CRF,用命名实体识别任务来解释CRF(1)

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者:CreateMoMo 编译:ronghuaiyang 导读 看了许多的CRF的介绍和讲解,这个感觉是最清楚的,结合实际的应用场景,让你了解CRF的用处和用法。 该系列...

0
0
03/30 07:30

BiLSTM上的CRF,用命名实体识别任务来解释CRF(4)

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者:CreateMoMo 编译:ronghuaiyang 导读 今天给大家介绍一下具体的代码实现。 3 Chainer实现 在本节中,我将解释代码的结构。此外,还将给出实现C...

0
0
发表了博客
2018/11/18 21:57

[译]CRF和QP的区别

本文翻译自 https://slhck.info/video/2017/02/24/crf-guide.html ,不当之处,请多指教。 ----------------------------正文------------------------- 什么是CRF? CRF是264和265中默认的质量/码率控制设置。这个值可以在0到51之间,值越低,质量越好,文件大小越大。在x264上面,一般取值为18-28,默认值是23。在ffm...

0
0
发表了博客
2019/01/10 10:07

HMM、CRF、MEMM区别

隐马尔可夫模型(Hidden Markov Model,HMM),最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)以及条件随机场(Conditional Random Field,CRF)是序列标注中最常用也是最基本的三个模型。 HMM首先出现,MEMM其次,CRF最后。三个算法主要思想如下: 1)HMM模型是对转移概率和表现概率直接建模,统计共现概率...

0
0
03/29 08:30

BiLSTM上的CRF,用命名实体识别任务来解释CRF(3)推理

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者:CreateMoMo 编译:ronghuaiyang 导读 今天是第三部分,介绍如何推理新的句子。 前两篇链接: BiLSTM上的CRF,用命名实体识别任务来解释CRF(1)...

0
0
发表了博客
2018/11/14 21:28

CRF 及CRF++ 安装与解释

CRF简介 Conditional Random Field:条件随机场,一种机器学习技术(模型) CRF由John Lafferty最早用于NLP技术领域,其在NLP技术领域中主要用于文本标注,并有多种应用场景,例如: 分词(标注字的词位信息,由字构词) 词性标注(标注分词的词性,例如:名词,动词,助词) 命名实体识别(识别人名,地名,机构名,商品...

0
0
发表了博客
2018/11/14 21:31

定制你自己的CRF模型

如何训练自己的CRF模型 Ansj从5.0版本之后支持训练自己的crf模型,在此之前虽然已经很早支持了CRF模型,但是在用户的自训练上要求苛刻,而且本身实现的CRF从性能到准确率都不如CRF++或者第三方的,好吧.目前我做的是完败,所以另辟蹊径,打不过就嫖呗.只要支持他们训练的模型就可以.下面是一个step by step 教程,希望能对大家有...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
17 收藏
分享
返回顶部
顶部