3
回答
IKAnalyzer和庖丁分词性能对比
注册华为云得mate10,2.9折抢先购!>>>   

版本:

   IKAnalyzer2.0.2

   paoding_analysis2.0.4alpha

测试环境:

  Inter Core 1.8双核,1G内存,XP,Java1.6Se

结果:

对长度为96256中文分词:

     IKAnalyzer:203ms  55296 单词 272394 词/秒

         paoding:94ms  47104单词 501106词/秒

对长度为3008中文分词:
     IKAnalyzer: 31ms   1728单词     55741词/秒

         paoding:15ms  1472单词   98133词/秒

 

分词内容:

据路透社报道,印度尼西亚社会事务部一官员星期二(29日)表示,日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡,20000余人受伤,近20万人无家可归。

分词效果:

IKAnalyzer:

  1 - 4 = 路透社
1 - 2 = 路
4 - 6 = 报道
7 - 12 = 印度尼西亚
7 - 9 = 印度
10 - 12 = 西亚
12 - 14 = 社会
14 - 17 = 事务部
14 - 16 = 事务
17 - 18 = 一
18 - 20 = 官员
20 - 23 = 星期二
20 - 22 = 星期
22 - 23 = 二
24 - 27 = 29日
24 - 26 = 29
26 - 27 = 日
28 - 30 = 表示
31 - 34 = 日惹市
31 - 33 = 日惹
32 - 34 = 惹市
34 - 36 = 附近
36 - 40 = 当地时间
36 - 38 = 当地
38 - 40 = 时间
40 - 43 = 27日
40 - 42 = 27
43 - 44 = 晨
44 - 46 = 5时
44 - 45 = 5
46 - 49 = 53分
46 - 48 = 53
48 - 50 = 分发
49 - 51 = 发生
52 - 54 = 里氏
54 - 58 = 6.2级
54 - 57 = 6.2
58 - 60 = 地震
60 - 62 = 已经
62 - 64 = 造成
64 - 66 = 至少
66 - 71 = 5427人
66 - 70 = 5427
71 - 73 = 死亡
74 - 79 = 20000
79 - 81 = 余人
81 - 83 = 受伤
84 - 85 = 近
85 - 89 = 20万人
85 - 88 = 20万
85 - 87 = 20
87 - 89 = 万人
89 - 93 = 无家可归
92 - 93 = 归

 

paoding:

1 - 4 = 路透社
4 - 6 = 报道
7 - 9 = 印度
7 - 11 = 印度尼西
10 - 12 = 西亚
12 - 14 = 社会
14 - 16 = 事务
16 - 17 = 部
17 - 18 = 1
18 - 20 = 官员
20 - 22 = 星期
20 - 23 = 星期二
24 - 26 = 29
26 - 27 = 日
28 - 30 = 表示
31 - 33 = 日惹
33 - 34 = 市
34 - 36 = 附近
38 - 40 = 时间
36 - 40 = 当地时间
40 - 42 = 27
42 - 43 = 日
43 - 44 = 晨
44 - 45 = 5
45 - 46 = 时
46 - 48 = 53
48 - 49 = 分
49 - 51 = 发生
50 - 52 = 生的
52 - 54 = 里氏
54 - 57 = 6.2
57 - 58 = 级
58 - 60 = 地震
60 - 62 = 已经
62 - 64 = 造成
64 - 66 = 至少
66 - 70 = 5427
70 - 71 = 人
71 - 73 = 死亡
74 - 79 = 20000
79 - 81 = 余人
81 - 83 = 受伤
84 - 85 = 近
85 - 88 = 200000
88 - 89 = 人
89 - 93 = 无家可归

 

结论:

  paoding和IK分词效果差不多,IK分词多些但速度差些。

http://bbs.zgkw.cn/space/viewspacepost.aspx?postid=506

举报
红薯
发帖于9年前 3回/5K+阅
顶部