这是一个简单的中文分词程序,可以在没有语料库的情况下通过各个词语的相关度将中文词汇抽取出来 具体的理论可以参看Matrix67的博客文章: http://www.matrix67.com/blog/archives/5044
我只是把这个算法进行了实现而已。
该程序写得比较着急,还有很多地方可以进行速度上的优化。
这是一个简单的中文分词程序,可以在没有语料库的情况下通过各个词语的相关度将中文词汇抽取出来 具体的理论可以参看Matrix67的博客文章: http://www.matrix67.com/blog/archives/5044
我只是把这个算法进行了实现而已。
该程序写得比较着急,还有很多地方可以进行速度上的优化。
前几天在网上闲逛,看到一篇美文,说的是怎么在没有语料库的情况下从文本中提取中文词汇,理论部分讲得比较多,但都还是很浅显易懂的,其中涉及一部分信息论的理论,其实只要大学开过信息论这门课的话,看起来还是挺简单的。 信息论我忘得差不多了,但是其中主要的内容还记得,信息论最主要的就是信息其实是可以度量的,...
评论 (0)