5
回答
关于logstash 机制问题

在官方上有几个例子

http://logstash.net/docs/1.1.0/tutorials/10-minute-walkthrough/

其中如下命令

java -jar logstash-1.1.0-monolithic.jar agent -f hello-search.conf -- web --backend elasticsearch:///?local

可以将其内嵌的JETTY服务启动起来

Mizuno 0.5.0 (Jetty 8.0.y.z-SNAPSHOT) listening on 0.0.0.0:9292

访问地址:http://localhost:9292  

目前还不是很了解elasticsearch是怎么使用的,我指定的服务器,及我产生的LOG4J的日志文件又是如何导入其中,并通过页面查看?

其中官方有个例子

 

input {
  tcp { 
    type => "apache"
    port => 3333
  } 
}

filter {
  grok {
    type => "apache"
    # See the following URL for a complete list of named patterns
    # logstash/grok ships with by default:
    # https://github.com/logstash/logstash/tree/master/patterns
    #
    # The grok filter will use the below pattern and on successful match use
    # any captured values as new fields in the event.
    pattern => "%{COMBINEDAPACHELOG}"
  }

  date {
    type => "apache"
    # Try to pull the timestamp from the 'timestamp' field (parsed above with
    # grok). The apache time format looks like: "18/Aug/2011:05:44:34 -0700"
    timestamp => "dd/MMM/yyyy:HH:mm:ss Z"
  }
}

output {
  # Use stdout in debug mode again to see what logstash makes of the event.
  stdout {
    debug => true
  }
}

这个参数配制不知是什么意思, grok又是从哪来的,是否需要安装

 

nc localhost 3333 < apache_log.2

最后用了NC导入了个日志文件 ,难道每次都要手动导吗

举报
小沈QQ
发帖于5年前 5回/4K+阅

以下是问题补充:

  • @小沈QQ :有实际完整的配制的案例吗 (5年前)
共有5个答案 最后回答: 3年前

现在可以买本书了,书名叫《实战Elasticsearch Logstash Kibana--分布式大数据搜索与日志挖》

你也可以看官网帮助:

https://www.elastic.co/guide/en/logstash/current/index.html


这是在产生日志机器上logstash的配置:

input {
    file {
        type => "voip_log"
        path => ["/usr1/app/logs/voip_server.log"]  
        path => ["/home/jfy/tmp/test*.log"]    
        sincedb_path => "/home/jfy/soft/logstash-1.4.2/sincedb.access"
        start_position => "beginning"
        #record logfile track to file
    }
}


#filter {
#    grep {
#        match => [ "@message", "mysql|GET|error" ]
#    }
#}


output {
    redis {
        host => '172.16.18.116'
        data_type => 'list'
        key => 'logstash:redis'
        batch => true
        batch_events => 100
        #workers => 5
    }
#    elasticsearch {
#     #embedded => true
#      host => "172.16.18.116"
#    }
}



这是在elasticsearch机上的logstash配置

input {
  redis {
    host => '127.0.0.1'
    data_type => 'list'
    key => 'logstash:redis'
    threads => 10
    #batch_count => 1000
  }
}


output {
  elasticsearch {
    #embedded => true
    host => localhost
    workers => 10
  }
}



这个logstash最好是和elasticsearch,kibana一起用,才有效果

可以QQ沟通:148027252

logstach打包的jar既是客户端又是服务器,既可以独立单点部署,又可以多点分布部署。


--- 共有 1 条评论 ---
小沈QQ我看了一下logstach的JAR包 里面有个logstach的文件夹,里面应该全是RB的功能,但如何使用感觉官方写的有点散乱,不能够好的应用,有没有经验手册 5年前 回复

引用来自“lxbzmy”的答案

logstach打包的jar既是客户端又是服务器,既可以独立单点部署,又可以多点分布部署。


文档是有些差,我也没有实际配置的例子。

你好~我也遇到跟你一样的问题~不知道楼主现在有没有弄明白~可以指点下吗~万分感谢!!

--- 共有 1 条评论 ---
小沈QQ我之后也没研究这东西,抱歉 4年前 回复
顶部