【TechTarget中国原创】好像每一种新的设备、应用甚至是桌面软件程序都可以产生日志或者明文数据。而在管理日志数据方面有很多的问题。
第一个当然是存储和收集这些日志，还好，有一些具备这些功能的产品。日志通常是说系统日志、日志管理或者位于网络上的SIM系统。所以大问题就出来了：如何筛选Web服务器日志数据，发现相关的安全信息呢？
虽然有很多不同的开源和商业软件应用可以执行不同层面的日志分析，但是其中有个常见的问题——常规表达式（regex）。常规表达式基本上是一串字符，允许任意的脚本语言或者搜索工具快速执行，并可以在大量的明文数据中进行高级搜索。Regex格式有一些变化，而脚本语言最常见的叫作Perl-derivative常规表达式。包括.NET framework、 Python、Java、JavaScript 当然还有Perl的regex格式。通过和任意脚本语言或者搜索工具使用这种类型的regex，可以快速有效地分析大量数据获取有意义的信息。
最常见问题的日志格式是Apache，或者httpd。这些Web日志趋向于隐藏一些必要的机密数据，例如攻击企图、成功的攻击特征甚至是即将发生的攻击的先兆行为。
我们将关注egrep的regex的使用。Egrep使用一种非常简单地句法进行文件搜索，而且已经存在于目前常见环境中的每一台操作系统上。（Windows用户可以从不同的来源下载免费版本。）
记住和egrep一起使用的regex可以和任何程序或者支持regex的脚本语言兼容。
在这篇文章中，我们将讨论Apache日志。但是egrep、regex 和httpd日志采用的概念可以在大量的其它平台、工具和日志类型中使用。理解那些有危险以及如何搜索到就是在企业内部识别安全问题方面的一大进步。
第一步：Web日志格式
为了创建表达式分析这些日志的内容，我们需要理解日志记录架构。Apache存储的内容叫作服务器访问日志，通常是/etc/httpd/logs，而且经典的命名是访问日志。
你可以配置httpd (Apache)把这些日志发送到syslog或者SIM系统。如果这样，你的日志就和默认的日志存在差异。Apache存储以以下格式在访问日志中返回有限的记录：
10.10.10.10 - frank
[10/Oct/2007:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 |
我们把它一部分一部分地分开。第一个值，10.10.10.10，就是简单的客户端IP地址，如果HostnameLookups是激活的，这个值后面直接跟的是客户端的主机名。下一个，是日期和时间标志10/Oct/2007:11:55:36 -0700。这对相互关系的目的非常重要。
下一个，是HTTP header信息。它非常有用，因为它可以呈现客户端发出了那些请求的细节。在这种情况下，GET/apache_pb.gif HTTP/1.0表明请求的GET方法，目的是叫作apache_pb.gif图片文件，位置是在httpd Web服务器的目录根上。
最后，服务器返回代码，200，表明请求已经成功完成了。最后一段信息知识简单的请求返回到客户端的对象的大小。