gse 是一个 Go 语言高效分词， 支持英文、中文、日文等。
Go 语言高效分词, 支持英文、中文、日文等 该版本主要增加: 增加 "TF-IDF, Text rank, HMM Pos, 停用词, 清除和过滤词支持, Levenshtein" and more, 周边支持拼音和多音词, 以及 Levenshtein 等功能 增加更多示例、测试和 benchmark 代码以及修复 bug等 项目地址: https://github.com/go-ego/gse Gse v0.60.0 is released, Go text segmentation and NLP; Add "TF-IDF, Text rank, HMM, Stop word, Trim/filter word, Levensht...
Go 语言高效分词，支持英文、中文、日文等。 该版本主要增加：AlphaNum 拉丁字母和数字分词设置，RemoveToken，gse.New()，分词 ToLower 设置；Tirm 清除标点符号和空格，TextFreq 设置默认加载 frenquency，cutDAGNoHMM 和最短路径加动态规划配置，支持 ", " 分割字典文件等功能。 增加更多示例、测试和 benchmark 代码, 修复 bug。 项目地址：https://github.com/go-ego/gse Nisqually Glacier Add add alphanum split words ...
Go 语言高效分词，支持英文、中文、日文等 词典用双数组 trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴分词保持一致. 支持普通、搜索引擎、全模式、精确模式和 HMM模式多种分词模式，支持用户词典、词性标注，可运行 JSON RPC 服务。 项目地址: https://github.com/go-ego/gse Snake River Add [NEW] Add more common APIs and more example...
Go 语言高效分词, 支持英文、中文、日文等 词典用双数组 trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。v0.30.0 版本主要新增了 DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴分词保持一致. 支持普通、搜索引擎、全模式、精确模式和 HMM模式多种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。 更新详情和项目地址: gse package mainimport ( "fmt" "github...
Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。 更新详情地址 package main import ( "fmt" "github.com/go-ego/gse" ) func main() { var seg gse.Segmenter seg.LoadDict("zh,testdata/test_dict.txt...
Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。 package main import ( "fmt" "github.com/go-ego/gse" ) func main() { var seg gse.Segmenter seg.LoadDict("zh,testdata/test_dict.txt,testdata/test_dict1.txt") text1 ...
评论