OSChina 第 57 期高手问答 —— Linux 日志分析和流量监控
热

红薯发布于 2014/12/07 07:56

阅读 8K+

答案 54

Linux

高手问答

【直播预告】破局数据孤岛与采集乱象：Flashcat 为大模型增强可观测性奠定基础

OSCHINA 本期高手问答(12月8日-12月12日)我们请来了 @晨光Linux（为大家解答关于 Linux 在日志分析和流量监控方面的问题。

@晨光Linux 是《UNIX/Linux网络日志分析与流量监控》一书的作者。开源系统爱好者，从业十多年一直致力于Linux企业应用及信息安全研究，CCF高级会员。独著《Linux企业应用案例精解》、《Linux企业应用案例精解第2版》、《UNIX/Linux网络日志分析与流量监控》，在国内众多IT杂志媒体公开发表专业学术论文六十篇。

为了鼓励踊跃提问， @晨光Linux 会在问答结束后从提问者中抽取 5 名幸运会员赠予《UNIX/Linux网络日志分析与流量监控》一书。

OSChina 高手问答一贯的风格，不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就Linux 在日志分析和流量监控方面问题向 @晨光Linux 提问，请直接回帖提问。

加载中

OSSIM

2014/12/09 12:22

@郭伟伟 :这个问题有有价值，大家都比较关注，但有些宽泛，如果进到某个系统的某个服务的某个日志，我会比较好回答，先宏观上讲，攻击行为不一定会被记录在日志中，主要看收集颗粒度的细致程度，但如果记录日志的攻击，一定要引起管理员注意，攻击者在进行暴力破解，扫描这类异常行为时会被IDS系统侦测到，同时会记录到被攻击服务器的日志系统中，一般认为，存有漏洞才会引起攻击，就像鲨鱼喜欢血腥味儿一样，所以安全人员应首先对网络资产（服务器、网络设备等）进行漏洞扫描已减轻这类风险。有些漏洞比如Microsoft的MS06-040这类漏洞通过打补丁的方式就可以修复，在IDS的日志系统可以发现问题，但在被攻击系统本身可能没有记录，但一些更为严重的0Day漏洞很可能都不被记录到日志当中，很可能当你发现日志记录下攻击，并发现漏洞时，一切该发生的都发生了，服务器已经病入膏肓了。所以我们必须在攻击者发送攻击的扫描阶段将其发现并阻断，需要用到IDS/IPS系统，这是在他们的系统日志中就会有扫描的大量报警的事件，之后，当到了渗透控制阶段，比如文件捆绑，植入等，通过HIDS也会发出报警日志，如果这几个阶段的报警，都没有被发现，那么到了传播攻击阶段，恶意脚本会主动向内或向外发起新的扫描，好比美国大片里看的那些僵尸一样。这时，你的日志系统，IDS系统，都会发出大量报警。

评论 (0) 引用此答案举报

徐庆-neo

2014/12/07 09:42

@晨光Linux :我认为日志分析有两个重点，一是生成日志的规范和可追溯性；二是在分析的方法和数据归纳上。抛开市面上已经存在的分析软件和日志生成方案，如何建立起一个简单又可靠的日志系统一直是我在开发中比较苦恼的事情，可否指一条明路呢？

另外，流量监控也是俺好喜欢的课题，因为知识储备有限，只停留在通过系统状态获取进出数据量，使用哪些方法可能更准确的获取流量，并实时监控它们呢？如果像楼上说的，需要写个代理来监控，似乎必不可少的要考虑性能和负载问题，相信一定是有其他出路的吧~

评论 (0) 引用此答案举报

Feng_Yu

2014/12/07 09:47

@晨光Linux :日志集中监控有什么好的方案吗？线上服务器很多，怎么集中监控与分析日志呢？

评论 (2) 引用此答案举报

Feng_Yu

2014/12/07 18:50

回复 @晨光Linux : 好，多谢了

回复举报

OSSIM

2014/12/07 14:14

传统的日志收集方式主要是被动采集，例如通过SNMP收集，或者Syslog方式采集，而且在这个社区里能轻松的搜索到大把的工具软件，这对于一个普通用户来讲，等于没有方案，最终还是不知道怎么去做，所以我在书中主要针对了OSSIM、Splunk等几个重要的工具软件的实际应用展示给大家。

回复举报

mickelfeng

2014/12/07 10:42

@晨光Linux :通过日志分析，怎样判断非法入侵。

评论 (1) 引用此答案举报

OSSIM

2014/12/07 14:05

如果教条的列出通过日志分析非法入侵的原则或方法，这样对普通用户并不适用，但大家在遇到服务器入侵时的表现或多或少会有相似之处，在这本书里例举了21个完整的案例包含了作者当年遇到的各种网络入侵事件的发生、发展和处理方法、预防措施等内容，用一个个网络运维路上遇到的“血淋淋”的教训来告诫大家，如果不进行系统安全加固又会遇到什么后果。

回复举报

OSSIM

2014/12/07 12:12

@晨光Linux : Hadoop、spark、storm它们都是Apache基金会旗下的大型分布式开源计算系统，日志分析仅是一个很小的功能，Hadoop是Apache基金会的开源项目，采用MapReduce计算框架，国内很多大型互联网公司都采用Hadoop来定制自己的分布式计算平台，其次Apache基金会的另一个分布式系统就是Spark，算是Hadoop的下一代系统，在Hadoop基础上进行了优化，最大的改进使Spark可以用内存来存储数据，所以速度上比Hadoop有很大提高，当然突然断电内存里的数据就会丢失，所以你想永久保存就不行啦。说到Storm简单说是Hadoop的表兄弟，它用于处理实时的大数据流处理，不会存储数据。

评论 (0) 引用此答案举报