kafka如何实时采集http请求

asdfsx 发布于 2013/12/27 18:06
阅读 4K+
收藏 1

@FrankHui 你好,想跟你请教个问题:
我现在想实时采集Nginx收到的http请求
打算使用kafka来缓存采集到的数据
但是现在的问题就是如何才能将Nignx的请求实时采集到Kafka中
你有遇到过类似的问题吗?
非常感谢

加载中
0
Gaischen
Gaischen
kafka 现在好像只有java的客户端  nginx本身就有日志模块的啊  如果你非要用kafka的话  就按照kafka的协议 写个客户端好了  producer不是很难写的  
gyflyx
gyflyx
现在kafka已经提供了c的模块,可以修改nginx的log module,比较方便 https://cwiki.apache.org/confluence/display/KAFKA/Clients#Clients-C
asdfsx
asdfsx
回复 @kimmking : 问题就是用什么来转发的问题。目前的写的flume程序,单独用ab 测试能达到10000/s的量,但是前边加个nginx转发,瞬间就不行了。所以在想有没有什么更好的东西。
kimmking
kimmking
我还是觉得他现在的处理方式更简单灵活,找到性能瓶颈优化下
0
asdfsx
asdfsx
目前是用flume做了个转发程序:用embeded的jetty来接收nginx转发的请求,然后再输出到kafka中。但是测试发现转发的性能堪忧,所以想看看有没有什么其它的方式。
返回顶部
顶部