Sequence 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Sequence 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Sequence 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Sequence 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Sequence 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Google Go 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2015-02-02

软件简介

Sequence是高性能的顺序日志扫描器、分析器和解析器。它依次通过一条日志消息,解析出有意义的部分,而无需使用正则表达式。它可以每秒解析超过 100,000 条消息,而无需按日志源类型分开解析规则。

性能

以下性能基准在单4核(2.8Ghz i7)MacBook Pro上运行,尽管测试仅使用1或2核。第一个文件是一堆sshd日志,每条消息平均98字节。第二个是Cisco ASA日志文件,每条消息平均180字节。最后是ASA,sshd和sudo日志的混合,平均每条消息136个字节。

  $ ./sequence bench scan -i ../../data/sshd.all
  Scanned 212897 messages in 0.78 secs, ~ 272869.35 msgs/sec

  $ ./sequence bench parse -p ../../patterns/sshd.txt -i ../../data/sshd.all
  Parsed 212897 messages in 1.69 secs, ~ 126319.27 msgs/sec

  $ ./sequence bench parse -p ../../patterns/asa.txt -i ../../data/allasa.log
  Parsed 234815 messages in 2.89 secs, ~ 81323.41 msgs/sec

  $ ./sequence bench parse -d ../patterns -i ../data/asasshsudo.log
  Parsed 447745 messages in 4.47 secs, ~ 100159.65 msgs/sec

可以通过添加更多核心来提高性能:

  $ GOMAXPROCS=2 ./sequence bench scan -i ../../data/sshd.all -w 2
  Scanned 212897 messages in 0.43 secs, ~ 496961.52 msgs/sec

  GOMAXPROCS=2 ./sequence bench parse -p ../../patterns/sshd.txt -i ../../data/sshd.all -w 2
  Parsed 212897 messages in 1.00 secs, ~ 212711.83 msgs/sec

  $ GOMAXPROCS=2 ./sequence bench parse -p ../../patterns/asa.txt -i ../../data/allasa.log -w 2
  Parsed 234815 messages in 1.56 secs, ~ 150769.68 msgs/sec

  $ GOMAXPROCS=2 ./sequence bench parse -d ../patterns -i ../data/asasshsudo.log -w 2
  Parsed 447745 messages in 2.52 secs, ~ 177875.94 msgs/sec

局限性

  • sequence不处理多行日志。每个日志消息必须显示为一行。因此,如果有多行日志,则必须首先将其转换为单行。
  • sequence仅使用一组有限的系统(Linux,AIX,sudo,ssh,su,dhcp等),网络(ASA,PIX,Neoteris,CheckPoint,Juniper防火墙)和基础结构应用程序(apache,bluecoat等)进行了测试。日志。如果您有一组日志希望我进行测试,请随时提出一个问题,我们可以为我安排下载和测试日志的方法。
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2018/05/16 09:24

sequence to sequence模型

sequence to sequence模型是一类End-to-End的算法框架,也就是从序列到序列的转换模型框架,应用在机器翻译,自动应答等场景。 Seq2Seq一般是通过Encoder-Decoder(编码-解码)框架实现,Encoder和Decoder部分可以是任意的文字,语音,图像,视频数据,模型可以采用CNN、RNN、LSTM、GRU、BLSTM等等。所以基于Encoder-Decoder,我们可以设计出各种各样的应用算法。 与Seq2Seq框架相对的还有一个CTC,CTC主要是利用序列局部的信息...

0
0
发表于数据库专区
2014/04/08 16:00

SEQUENCE

A sequence is a schema object from which multiple users can generate unique integers. A sequence generator provides a highly scalable and well-performing method to generate surrogate keys for a number data type. ORACLE/PLSQL: SEQUENCES (AUTONUMBER) Learn how to create and drop sequences in Oracle with syntax and examples. DESCRIPTION In Oracle, you can create an autonumber field by using sequen...

0
0
发表了博客
2019/06/17 16:58

Sequence

题目链接:http://dsalgo.openjudge.cn/binarytree/12/ 总时间限制: 3000ms 内存限制: 65536kB 描述 给定m个数字序列,每个序列包含n个非负整数。我们从每一个序列中选取一个数字组成一个新的序列,显然一共可以构造出n^m个新序列。接下来我们对每一个新的序列中的数字进行求和,一共会得到n^m个和,请找出最小的n个和 输入 输入的第一行是一个整数T,表示测试用例的数量,接下来是T个测试用例的输入 每个测试用例输入的第一行是...

0
0
发表了博客
2018/04/21 23:21

Sequence

题目链接:http://acm.zzuli.edu.cn/problem.php?id=2264 这道题只需要把两个数组的差值求出来,然后用kmp去求匹配数就好了。裸的kmp。 AC代码: #include <iostream> #include <cstdio> #include <cstring> using namespace std; const int MAXN = 1000005; int Next[MAXN]; int a[MAXN],b[MAXN]; int n,len1,len2,sum,m; int t[MAXN],p[MAXN]; void Com(){ Next[0] = 0; int k = 0; for(int q=1;q<m-1;q++){ whil...

0
0
发表了博客
2019/11/18 13:35

Convolutional Sequence to Sequence Learning 论文笔记

Convolutional Sequence to Sequence Learning 论文笔记 目录 简介 Position Embeddings GLU or GRU Convolutional Block Structure Multi-step Attention Normalization Strategy Initialization 简介# 写这篇博客主要是为了进一步了解如何将CNN当作Encoder结构来使用,同时这篇论文也是必看的论文之一。该论文证明了使用CNN作为特征抽取结构实现Seq2Seq,可以达到与 RNN 相接近甚至更好的效果,并且CNN的高并行能力能够大大减...

0
0
发表了博客
2019/04/10 10:10

Convolutional Sequence to Sequence Learning 论文笔记

[TOC] 简介 写这篇博客主要是为了进一步了解如何将CNN当作Encoder结构来使用,同时这篇论文也是必看的论文之一。该论文证明了使用CNN作为特征抽取结构实现Seq2Seq,可以达到与 RNN 相接近甚至更好的效果,并且CNN的高并行能力能够大大减少我们的模型训练时间(本文对原文中不清晰的部分做了梳理,建议与原文搭配服用) 原文链接:Convolutional Sequence to Sequence Learning 模型结构如下图所示: <img src="https://img2018....

0
0
发表了博客
2018/08/09 00:54

uvm的sequence

1,每个sequence都有一个body任务。当一个sequence启动后,会自动执行sequence的body任务,所以在sequence的class中,一定要有一个名为body的task。 此外,如果一个sequence中,还有pre_body与post_body,则这两个task,会分别在body的task前面与后面执行。 2,sequence的源码中,没有build_phase,所以,不要在sequence中使用build_phase。但是记得,sequencer中可以有build_phase。 3,当完成一个sequence的定义后,可以使用s...

0
0
发表了博客
2011/01/07 16:47

sequence reverse

li=[3,4,5,6,8,7,9,0,2,1] li=tuple(li) print li print 'reversed' print li[::-1] 这里的sequence可以是[list](tuple)or 字典的keys/values. [::-1] start:stop:step 不写默认从头至尾,然后步长为-1即从后面步进。该li[::-1]重新生成一个sequence并返回。...

0
1
发表了博客
2019/04/05 21:54

Master of Sequence

Master of Sequence 时间限制: 10 Sec 内存限制: 128 MB 题目描述 There are two sequences a1,a2,...,an , b1,b2,...,bn . Let . There are m operations within three kinds as following: • 1 x y: change value ax to y. • 2 x y: change value bx to y. • 3 k: ask min{t|k≤S(t)} 输入 The first line contains a integer T (1≤T≤5) representing the number of test cases. For each test case, the first line co...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于开发技能专区
2020/02/18 17:55

spring data jpa 2.3.0.M2 新增问题

Hibernate: select next_val as id_val from hibernate_sequence for update Hibernate: update hibernate_sequence set next_val= ? where next_val=? Hibernate: insert into tmenu (ICONCLS, TEXT, PID, URL, id) values (?, ?, ?, ?, ?) 2020-02-18 15:38:45.135 WARN 75736 --- [o-12020-exec-97] o.h.engine.jdbc.spi.SqlExceptionHelper : SQL Error: 1062, SQLState: 23000 2020-02-18 15:38:45.135 ERROR 75736 --- [o...

2
0
发表了问答
2016/08/27 08:56

hibernate 自动序列问题 序列不存在 select hibernate_sequence.nextval from dual

有哪位大神知道这个,为什么我指定了序列,数据库也有这个序列,指定的序列没有起作用,hibernate去找hibernate_sequence 这个序列了,但是直接查询是可以取到值的。。。

7
0
发表了问答
2015/07/03 14:52

在pythonk中,如何从序列中一次取2个下标

如果需要从一个序列中同时迭代两个元素,有没有更python化的方法? 比如: list1 = [a,b,c,d,f,g] for i in range(0,len(l),2):     print l[i], l[i+1] 在不另外声明函数的前提下,有没有更简洁的代码 输出结果: a,b c,b f,g

2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
6 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部