5个有用的开源日志分析工具

发布者:上海IT外包来源:http://www.lanmon.net点击数:1248

监控网络活动是一项繁琐的工作,但有充分的理由这样做。例如,它允许您查找和调查连接到网络的工作站和设备以及服务器上的可疑登录,同时确定管理员滥用的内容。您还可以跟踪软件安装和数据传输,以实时识别潜在问题,而不是在发生损坏后跟踪它们。
这些日志还有助于贵公司遵守欧盟内部任何实体的通用数据保护法规(GDPR)。如果您的网站在欧盟可以查看,那么您就有资格遵守这些规定。
日志记录(包括跟踪和分析)应该是任何监控基础架构中的基本过程。要从灾难中恢复SQL Server数据库,需要事务日志文件。此外,通过跟踪日志文件,DevOps团队和数据库管理员(DBA)可以保持最佳的数据库性能,或者在网络攻击的情况下,可以找到未经授权的活动的证据。因此,定期监视和分析系统日志非常重要。这是重建导致任何问题的事件链的可靠方法。
有许多开源日志跟踪器和分析工具可用,这使您可以更轻松地为您的活动日志选择合适的资源。免费和开源软件社区提供的日志设计适用于各种站点和操作系统。以下是我用过的五个最好的工具,它们没有特定的顺序。
Graylog
Graylog于2011年在德国成立,现在可作为开源或商业解决方案提供。它被设计为集中式日志管理系统,可接受来自不同服务器或端点的数据流,并允许您快速查看或分析该信息。
Graylog截图
Graylog在系统管理员中享有良好的声誉,因为它易于扩展。大多数Web项目从小规模开始,但它们可以指数级增长。 Graylog平衡了后端服务网络上的负载,每天可处理数TB的日志数据。
IT管理员会发现Graylog的前端界面易于使用且功能强大。 Graylog围绕仪表板的概念构建,允许您选择您认为最有价值的指标或数据源,并快速查看一段时间内的趋势。发生安全性或性能事件时,IT管理员希望能够尽可能地跟踪源。 Graylog的搜索功能使这很容易。它具有内置的容错功能,可以运行多线程搜索,因此您可以同时分析多个潜在威胁。
Nagios的
Nagios始于1999年,最初由开发人员开发,现已发展成为管理日志数据最可靠的开源工具之一。当前版本的Nagios可以与运行Microsoft Windows,Linux或Unix的服务器集成。
Nagios Core
它的主要产品是日志服务器,旨在简化数据收集并使系统管理员更容易访问信息。 Nagios Log Server Engine实时捕获数据并将其提供给强大的搜索工具。内置的设置向导可以轻松地与新端点或应用程序集成。
Nagios最常用于需要监控其本地网络安全性的组织。它可以审核一系列与网络相关的事件,并帮助自动分发警报。如果满足某些条件,Nagios甚至可以配置为运行预定义脚本,允许您在人为干预之前解决问题。
作为网络审计的一部分,Nagios根据日志数据源的地理位置过滤日志数据。这意味着您可以使用地图技术构建一个综合仪表板,以了解网络流量的流动方式。
弹性堆栈(ELK堆栈)
Elastic Stack,通常称为ELK Stack,是需要过滤大量数据并了解其日志系统的组织中最受欢迎的开源工具之一(这是我个人最喜欢的)。
ELK Stack
它的主要产品包括三个独立的产品:Elasticsearch,Kibana和Logstash:
顾名思义,Elasticsearch旨在帮助用户使用多种查询语言和类型查找数据集之间的匹配。速度是它最大的优势。它可以扩展到数百个服务器节点的集群,以轻松处理数PB的数据。
Kibana是一个可视化工具,可与Elasticsearch配合使用,允许用户分析数据并构建功能强大的报告。首次在服务器群集上安装Kibana引擎时,您将看到一个显示统计信息,图表甚至动画的界面。
ELK Stack的最后一部分是Logstash,它作为纯服务器端管道进入Elasticsearch数据库。您可以将Logstash与各种编程语言和API集成,以便您的网站和移动应用程序中的信息可以直接传递给强大的Elastic Stalk搜索引擎。ELK Stack的一个独特功能是它允许您监视在WordPress开源网站上构建的应用程序。与跟踪管理日志和PHP日志的大多数开箱即用的安全审计日志工具相比,ELK Stack可以过滤Web服务器和数据库日志。
糟糕的日志跟踪和数据库管理是导致网站性能不佳的最常见原因。不定期检查,优化和清空数据库日志不仅会降低站点速度,还会导致站点崩溃。因此,ELK Stack是每个WordPress开发人员工具包的优秀工具。
LOGalyze
LOGalyze是一家位于匈牙利的组织,为系统管理员和安全专家构建开源工具,帮助他们管理服务器日志并将其转换为有用的数据点。其主要产品可供个人或企业用户免费下载。
LOGalyze
LOGalyze旨在成为一个巨大的管道,其中多个服务器,应用程序和网络设备可以使用简单对象访问协议(SOAP)方法提供信息。它提供了一个前端界面,允许管理员登录以监控数据集并开始分析数据。
在LOGalyze的Web界面中,您可以运行动态报告并将其导出为Excel文件,PDF文件或其他格式。这些报告可以基于LOGalyze后端管理的多维统计信息。它甚至可以跨服务器或应用程序组合数据字段,以帮助您发现性能趋势。
LOGalyze旨在在不到一个小时的时间内安装和配置。它具有预先构建的功能,允许它以法律要求的格式收集审计数据。例如,LOGalyze可以轻松运行不同的HIPAA报告,以确保您的组织符合健康法律并保持合规性。
Fluentd
如果您组织的数据源位于许多不同的位置和环境中,那么您的目标应该是尽可能地将它们组合在一起。否则,您将难以监控性能并防止安全威胁。
Fluentd是一个功能强大的数据收集解决方案,完全开源。它不提供完整的前端界面,但可用作收集层以帮助组织不同的管道。 Fluentd被一些世界上最大的公司使用,但也可以在较小的组织中实施。
流畅的建筑
Fluentd的最大好处是它与当今最常用的技术工具兼容。例如,您可以使用Fluentd从Web服务器(例如Apache),智能设备传感器和MongoDB的动态记录中收集数据。如何处理这些数据完全取决于您。Fluentd基于JSON数据格式,可以与优秀开发人员创建的500多个插件一起使用。这允许您将日志数据扩展到其他应用程序,并以最少的手动工作获得更好的分析。
写在最后
如果出于安全原因,政府合规性和生产率原因未使用活动日志,请立即开始更改。市场上有许多插件可以与多种环境或平台配合使用,甚至可以在内部网络上使用。不要等待严重事件采取积极主动的方法来维护和监督日志
IT外包
>
400-635-8089
立即
咨询
电话咨询
服务热线
400-635-8089
微信咨询
微信咨询
微信咨询
公众号
公众号
公众号
返回顶部