日志搜索平台 Poseidon

BSD
Google Go 查看源码»
跨平台
360
2016-12-26
达尔文

波塞冬,是希腊神话中的海神,在这里是寓意着海量数据的主宰者。

Poseidon 系统是一个日志搜索平台,可以在数百万亿条、数百PB大小的日志数据中快速分析和检索特定字符串。 360公司是一个安全公司,在追踪 APT(高级持续威胁)事件时,经常需要在海量的历史日志数据中检索某些信息, 例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算, 一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。 Poseidon 系统就是为了解决这个需求,能在几秒钟内从数百万亿条规模的数据集中找出我们需要的数据,大大提高工作效率; 同时,这些数据不需要额外存储,仍然存放在Hadoop集群中,节省了大量存储和计算资源。该系统可以应用于任何结构化或非结构化海量(从万亿到千万亿规模)数据的查询检索需求。

所用技术

  • 倒排索引:构建日志搜索引擎的核心技术

  • Hadoop:用于存放原始数据和索引数据,并用来运行Map/Reduce程序来构建索引

  • Java:构建索引时是用Java开发的Map/Reduce程序

  • Golang:检索程序是用Golang开发的

  • Redis/Memcached:用于存储 Meta 元数据信息

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Kubernetes 调度器实现初探

Kubernetes 调度器 Kubernetes 是一个基于容器的分布式调度器,实现了自己的调度模块。 在Kubernetes集群中,调度器作为一个独立模块通过pod运行。从几个方面介绍Kubernetes调度器。 调度器工...

02/01 09:48
9
0
Kubernetes 调度器实现初探

Kubernetes 调度器 Kubernetes 是一个基于容器的分布式调度器,实现了自己的调度模块。 在Kubernetes集群中,调度器作为一个独立模块通过pod运行。从几个方面介绍Kubernetes调度器。 调度器工...

03/26 15:18
0
0
Kubernetes 调度器实现初探

Kubernetes 调度器 Kubernetes 是一个基于容器的分布式调度器,实现了自己的调度模块。 在Kubernetes集群中,调度器作为一个独立模块通过pod运行。从几个方面介绍Kubernetes调度器。 调度器工...

03/26 16:32
0
0
Kubernetes 调度器实现初探

Kubernetes 调度器 Kubernetes 是一个基于容器的分布式调度器,实现了自己的调度模块。 在Kubernetes集群中,调度器作为一个独立模块通过pod运行。从几个方面介绍Kubernetes调度器。 调度器工...

03/26 16:02
1
0
强大的负载均衡+静态文件WEB服务器nginx实战

当前比较流行的负载均衡前端服务器主要有apache(with mod_proxy),nginx,lighttpd,squid,perlbal,pound,或者如果你的域名服务商提供DNS级别的负载均衡,也可以(就是一个域名随机指向多...

2016/03/24 16:34
61
1
360死性不改 “偷梁换柱”上架苹果又悄然被下架

来源: 腾讯科技 今年5月7日,苹果再次将360产品下架。 当人们的印象还停留在今年初苹果大面积下架360产品的时候,苹果却悄然采取了又一次的360产品下架行动。这次下架,正如业内一位专家“歪...

2013/07/05 14:49
6.7K
0
【j360-boot】Spring-boot系列五(docker、docker、docker)

Spring Boot使开发独立的,产品级别的基于Spring的应用变得非常简单,你只需"just run"。 我们为Spring平台及第三方库提 供开箱即用的设置,这样你就可以有条不紊地开始。多数Spring Boot应用...

2015/09/24 22:57
1K
3
史上最贵域名诞生!360斥资1700万美元买360.com

昨日,360公司官方人士向腾讯科技确认,公司已斥巨资收购国际顶级域名360.com。传闻这一收购价格为1700万美元,约合人民币1.1亿元。 史上最贵域名诞生!360斥资1700万美元买360.com 此前,360...

2015/02/05 21:18
76
0
怎样看待360 提示可以卸载手机预装软件商店引发的事件?

此贴转至知乎http://www.zhihu.com/question/21716903 我想,应该不会有人站在道德的高地去要求一家商业公司做到绝对的道德吧,应 该不会有人会把流氓当作一辈子只做流氓事的人吧。 我想,抗...

2013/09/30 10:33
8.1K
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部