Go 语言文本处理库 Prose Go

MIT
Google Go
跨平台
2017-09-25
王练

Prose 是一款用于Go 语言的文本处理库(主要是英文),支持 okenization(分词)、part-of-speech tagging(词性标注)、named-entity extraction(命名实体提取)等。 

安装

$ go get github.com/jdkato/prose/...

使用

Tokenizing

单词、句子和 regexp tokenizer 可用。 每个分词器实现相同的接口,这样可以轻松地在库的其他部分中自定义词语切分。

package main

import (
    "fmt"

    "github.com/jdkato/prose/tokenize"
)

func main() {
    text := "They'll save and invest more."
    tokenizer := tokenize.NewTreebankWordTokenizer()
    for _, word := range tokenizer.Tokenize(text) {
        // [They 'll save and invest more .]
        fmt.Println(word)
    }
}
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

关于客户投诉模块的建表

主键和唯一索引的区别,唯一性索引和一般索引的区别

2016/06/17 09:37
18
0
macbook配置zsh详情

大多数的Linux用户偏爱bash shell,因为发行版通常默认的就是它。bash确实是不错的Shell,但仍有用很多不尽人意的地方,如自动补全的功能不够强大,定位较长路径不够方便,命令历史管理不够完...

2016/02/29 00:33
164
1
Homebrew update出错

Homebrew update报错和解决

2016/07/25 16:16
75
0
Google 公司的 Java 语言编写规范

大部分软件公司可能都有自己的代码编写规范,但是大部分的规范又是粗略到不行不行的,粗到可以忽略,粗略到不同人的代码可以各成一体,同时又符合规范。前几天无意中看到了 Google 内部使用的...

2014/02/14 13:08
2.4K
0
Markdown语言快速参考

Markdown在很多系统上用的很多了,经常忘记,把https://help.github.com/articles/basic-writing-and-formatting-syntax/的复制了一份过来,留着备查。...

2016/04/09 10:58
62
1
[安装配置] 我的 Sublime Text 2/3 配置

初始化于: 2013-06-30 > Sublime Text is a sophisticated text editor for code, markup and prose. You'll love the slick user interface, extraordinary features and amazing performan...

2012/12/08 12:31
451
0
ubuntu下sublime text 3 中文输入

### 1:切换到~目录,然后新建一个sublime_imfix.c的文件 _命令:_ ``` touch sublime_imfix.c ``` _或者直接去手动新建_ ### 2:编辑sublime_imfix.c文件 ``` gedit sublime_imfix.c ``` **...

2016/10/25 13:27
6
0
Words Six

chauvinism狭隘的爱国主义-沙文主义 maternal grandfather matr-母亲/国家 matrix 母体 母带 矩阵 a multitude of 许多 considerable/many/a number of/gluts of/massive/plenty of/numbers...

2015/08/17 09:22
12
0
How to Write a Git Commit Message

Why good commit messages matter, and how to write a git commit message.

2015/07/28 22:22
23
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部