评论删除后，数据将无法恢复
Go 语言高效分词
gse
国
gse
Go 语言高效分词, 支持英文、中文、日文等
词典用双数组trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。
支持普通和搜索引擎两种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。
分词速度单线程9MB/s，goroutines并发42MB/s（8核Macbook Pro）。
安装/更新
go get -u github.com/go-ego/gse
Build-tools
go get -u github.com/go-ego/re
re gse
To create a new gse application
$ re gse my-gse
re run
To run the application we just created, you can navigate to the application folder and execute:
$ cd my-gse && re run
使用
package main
import (
"fmt"
"github.com/go-ego/gse"
)
func main() {
// 载入词典
var seg gse.Segmenter
seg.LoadDict()
// seg.LoadDict("your gopath"+"/src/github.com/go-ego/gse/data/dict/dictionary.txt")
// 分词
text := "我在大雨刚停的夜晚"
// 使用 hmm 模式
gse.Cut(text, true)
gse.CutAll(text)
// 使用搜索模式
gse.CutSearch(text, true)
// 处理分词结果
// 支持普通模式和搜索模式两种分词，见代码中 ToString 函数的注释。
fmt.Println(gse.String([]byte(text), false))
}
加载中
删除一条评论
Gse v0.40.0 发布，Go 高性能分词，增加更多常用 API
Go 语言高效分词，支持英文、中文、日文等 词典用双数组 trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴...
Gse v0.30.0 发布, Go 高性能分词, 增加 hmm 支持
Go 语言高效分词, 支持英文、中文、日文等 词典用双数组 trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。v0.30.0 版本主要新增了 DAG 和 HMM (Viterbi) 算法分...
Go 高性能分词 Gse v0.20.0 发布, 优化性能
Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式，支持用户词典、词性...
Gse v0.10.0 发布了, Go 高性能分词
Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie（Double-Array Trie）实现， 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式，支持用户词典、词性...
没有更多内容
加载失败，请刷新页面
没有更多内容
暂无问答
Groovy全攻略--嵌入篇
原
Groovy被设计得非常轻量级,很容易迁入到任何Java应用系统。 你可以使用BSF将Groovy脚本嵌入任何Java代码中.但是Groovy提供了一个轻量级的紧密集成.下面是3种主要方法: 1.使用Shell调试脚本或...
IEC61850与MMS的服务映射
原
IEC61850采用客户端/服务器模型的ACSI核心服务与MMS服务也有高度的相关性，但是IEC61850的ACSI服务和MMS服务之间也并非一一对应的关系。 有的ACSI服务（如关联服务Associate）可以直接映射到...
android https 连接建立
原
Https与Http类似，只不过Https一般是通过post请求服务器，但是Https与http不同的是Https与服务器会话是处于连接状态。http则发送请求后连接就会断开。 发送post请求代码： String query = r...
没有更多内容
加载失败，请刷新页面
软件作者
同类软件
pkuseg - 中文分词工具包
收藏 51
NChinese - 处理中文字词的函数库
收藏 10
THUOCL - 清华大学开源的高质量中文词库
收藏 108
ChineseUtil - PHP 中文工具类库
收藏 57
FoolNLTK - 中文处理工具包
收藏 186
dict_build - 自动构建中文词库
收藏 12
kcws - 基于深度学习的分词系统
收藏 187
Sego - Go中文分词
收藏 15
评论(0)
暂无评论