Go 语言高效分词 gse

Apache
Google Go
跨平台
2017-11-17
vz
gse 正在参加 2019 年度最受欢迎开源中国软件评选,请投票支持!
gse 在 2019 年度最受欢迎开源中国软件评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票赢奖品
已投票

gse

Go 语言高效分词, 支持英文、中文、日文等

词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。

支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RPC服务

分词速度单线程9MB/s,goroutines并发42MB/s(8核Macbook Pro)。

安装/更新

go get -u github.com/go-ego/gse

Build-tools

go get -u github.com/go-ego/re

re gse

To create a new gse application

$ re gse my-gse

re run

To run the application we just created, you can navigate to the application folder and execute:

$ cd my-gse && re run

使用

package main

import (
	"fmt"

	"github.com/go-ego/gse"
)

func main() {
	// 载入词典
	var seg gse.Segmenter
	seg.LoadDict()
	// seg.LoadDict("your gopath"+"/src/github.com/go-ego/gse/data/dict/dictionary.txt")

	// 分词
	text := "我在大雨刚停的夜晚"
    // 使用 hmm 模式
    gse.Cut(text, true)
    gse.CutAll(text)

	// 使用搜索模式
    gse.CutSearch(text, true)
    
	// 处理分词结果
	// 支持普通模式和搜索模式两种分词,见代码中 ToString 函数的注释。
	fmt.Println(gse.String([]byte(text), false)) 
}
的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

Gse v0.40.0 发布,Go 高性能分词,增加更多常用 API

Go 语言高效分词,支持英文、中文、日文等 词典用双数组 trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴...

03/13 08:07

Gse v0.30.0 发布, Go 高性能分词, 增加 hmm 支持

Go 语言高效分词, 支持英文、中文、日文等 词典用双数组 trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。v0.30.0 版本主要新增了 DAG 和 HMM (Viterbi) 算法分...

01/24 07:48

Go 高性能分词 Gse v0.20.0 发布, 优化性能

Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式,支持用户词典、词性...

2018/10/10 03:17

Gse v0.10.0 发布了, Go 高性能分词

Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式,支持用户词典、词性...

2018/04/27 19:52

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Groovy全攻略--嵌入篇

Groovy被设计得非常轻量级,很容易迁入到任何Java应用系统。 你可以使用BSF将Groovy脚本嵌入任何Java代码中.但是Groovy提供了一个轻量级的紧密集成.下面是3种主要方法: 1.使用Shell调试脚本或...

2016/03/30 22:45
17
1
IEC61850与MMS的服务映射

IEC61850采用客户端/服务器模型的ACSI核心服务与MMS服务也有高度的相关性,但是IEC61850的ACSI服务和MMS服务之间也并非一一对应的关系。 有的ACSI服务(如关联服务Associate)可以直接映射到...

2013/07/04 15:46
278
0
android https 连接建立

Https与Http类似,只不过Https一般是通过post请求服务器,但是Https与http不同的是Https与服务器会话是处于连接状态。http则发送请求后连接就会断开。 发送post请求代码: String query = r...

2014/07/09 17:00
30
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部