simhash 算法的 java 实现 simhash-java

MIT
Java
跨平台
2017-01-22
sing1ee

simhash 算法的 java 实现。

特点

  • 计算字符串的 simhash

  • 通过构建智能索引来计算所有字符串之间的相似性,因此可以处理大数据

使用

  • 使用输入文件和输出文件运行 Main

  • inputfile 的格式(参见 src / test_in):一个文件每行用 utf8 字符集

  • outputfile 格式

     

start //start flag

first line // doc

sencode lien // doc1\tdist the dist is the hamming distance between doc and doc1 

end //end flag
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

simhash短文本去重

simHash的java实现: import com.hankcs.hanlp.seg.common.Term; import com.hankcs.hanlp.tokenizer.StandardTokenizer; import java.math.BigInteger; import java.util.ArrayList; impor...

2018/07/02 10:56
256
0
海量数据相似度计算之simhash短文本查找

在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理,大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增,如果一天100w,10天就1000w了。我...

2013/09/09 07:34
575
0
互联网后端架构 - 2018年总结

2018年是不平静的一年,好像所有的情况都发生了变化,你会发现所有互联网从业人员都在大喊,互联网寒冬来了,万达在裁员,阿里大文娱在裁员,更别说哪些小的互联网公司,各种倒闭,破产,不付...

01/31 13:08
15
0
JAVA爬虫-区块链快讯爬虫实践

题图: Stan Lee playing Spider-Man on Atari 2600, 1982. 需求: 需要将目标的几个站点的快讯内容做定时爬取,并根据内容做重复过滤。 技术评审: 站点的内容抓取刚开始是想用python,但在...

2018/07/05 18:07
152
0
2013 年度计划

2013年计划: 1. 学习 ruby 语言 1.1 学习 ruby 的基本语法 1.2 使用 ruby 写一个小蜘蛛 1.3 使用 rack 1.4 skynet, starfish 1.5 EventMachine: fast, simple event-processing library fo...

2013/02/19 17:31
163
0
Java实例教程

Java当前日期/时间 Java将字符串转换为日期 Java当前工作目录 Java正则表达式 Java立方体 编译并执行Java Online 用于连接两个数组的Java程序 Java添加两个数组 字符串的Java字符 Java多字符...

2018/11/02 10:48
29
0
JVM -verbose参数详解(转)

转自:http://www.javaranger.com/archives/367 java -verbose[:class|gc|jni] 在输出设备上显示虚拟机运行信息。 1.java -verbose:class 在程序运行的时候有多少类被加载!你可以用verbose...

2014/12/04 22:33
4K
1
41 Websites Every Java Developer Should Bookmark

41 Websites Every Java Developer Should Bookmark Category - Java News Oracle Technology Network - java.sun.com Well, this is the best place to start with! Being an official Java...

2014/02/21 08:49
40
0
Java学习线路图

Java学习线路图 Java教程 Java 教程 Java 简介 Java 开发环境配置 Java 基础语法 Java 对象和类 Java 基本数据类型 Java变量类型 Java修饰符 Java运算符 Java循环结构 Java分支结构 Java Num...

2018/10/10 17:41
34
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部