word分词器的数据维护

清风-蓝魔泪 发布于 2017/05/25 15:09
阅读 957
收藏 0

@杨尚川  川哥你好,请教一个问题。

目前我们公司自己的垂直搜索,用的就是你的word分词器,效果也比较好,也比较稳定。目前我们采用的算法是最大Ngram分值算法。

这里想问一下的是,最大Ngram算法需要依赖2个点(1.词库,2.语料库),这些数据如何进行维护呢,或者说有没有哪个地方有提供下载,这样每隔一段时间我能够更新一次基础数据?

加载中
0
杨尚川
杨尚川

维护一个自己的词库,在分词器中指定,多个词库之间逗号分隔开

如:dic.path=classpath:dic.txt,classpath:custom_dic,d:/dic_more.txt,d:/DIC,D:/DIC2

语料库可以看一下这个工具:

https://github.com/ysc/word/blob/master/src/main/java/org/apdplat/word/corpus/CorpusTools.java

0
清风-蓝魔泪
清风-蓝魔泪

@杨尚川   川哥好。怎么解析,怎么处理,看这个工具类确实知道。

我想了解的是,像这个corpora.zip这个包,我可以到哪儿去更新吗?现在用的包,是你github上的那个包,也一直没变过。原数据需要更新的时候,我到哪去更新这个包呢。

0
杨尚川
杨尚川

引用来自“清风-蓝魔泪”的评论

@杨尚川   川哥好。怎么解析,怎么处理,看这个工具类确实知道。

我想了解的是,像这个corpora.zip这个包,我可以到哪儿去更新吗?现在用的包,是你github上的那个包,也一直没变过。原数据需要更新的时候,我到哪去更新这个包呢。

你可以到网上找一下公开的语料库,或者是花钱购买也可以,如果格式不一致,自己做一下转换。

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部