2
回答
kafka如何实时采集http请求
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   

@FrankHui 你好,想跟你请教个问题:
我现在想实时采集Nginx收到的http请求
打算使用kafka来缓存采集到的数据
但是现在的问题就是如何才能将Nignx的请求实时采集到Kafka中
你有遇到过类似的问题吗?
非常感谢

举报
asdfsx
发帖于4年前 2回/3K+阅
共有2个答案 最后回答: 4年前
kafka 现在好像只有java的客户端  nginx本身就有日志模块的啊  如果你非要用kafka的话  就按照kafka的协议 写个客户端好了  producer不是很难写的  
--- 共有 3 条评论 ---
gyflyx现在kafka已经提供了c的模块,可以修改nginx的log module,比较方便 https://cwiki.apache.org/confluence/display/KAFKA/Clients#Clients-C 3年前 回复
asdfsx回复 @kimmking : 问题就是用什么来转发的问题。目前的写的flume程序,单独用ab 测试能达到10000/s的量,但是前边加个nginx转发,瞬间就不行了。所以在想有没有什么更好的东西。 4年前 回复
kimmking我还是觉得他现在的处理方式更简单灵活,找到性能瓶颈优化下 4年前 回复
目前是用flume做了个转发程序:用embeded的jetty来接收nginx转发的请求,然后再输出到kafka中。但是测试发现转发的性能堪忧,所以想看看有没有什么其它的方式。
顶部