web日志分析工具

访问日志里藏着的志分东西，比大多数人想象的析工多。去年帮一个做跨境电商的志分朋友查服务器，顺手翻了翻Nginx的析工access.log，发现有个IP在凌晨三点到五点之间，志分每隔47秒就请求一次商品详情页，析工持续了整两周。志分这不是析工正常用户。后来查出来是志分竞品在爬价格数据。日志文件就那么静静地躺在硬盘里，析工不分析，志分它就是析工一堆文本；分析了，它能告诉你谁在偷你的志分数据、哪个接口在拖后腿、析工搜索引擎爬虫到底喜不喜欢你。志分

Web日志分析工具干的就是这件事——把服务器每天吐出来的几十万行记录，变成人能看懂的信息。常见的格式无非是Apache的combined格式或者Nginx的默认格式，一行一条请求，包含IP、时间戳、请求方法、URL、状态码、User-Agent、Referer这些字段。单看一行没什么意义，但把十万行放在一起，规律就浮出来了。

从命令行到可视化面板

最原始的做法是grep、awk、sort三板斧。比如想知道哪个URL被访问最多：

awk '{ print $7}' access.log | sort | uniq -c | sort -rn | head -20

这条命令跑完，排名前20的URL就出来了。我自己的博客之前跑过一次，发现/feed/的请求量居然排第三，远超某些文章页。后来才想明白，一堆RSS阅读器在定期拉取。这种信息用肉眼翻日志是不可能翻出来的。

但命令行有天花板。当你需要交叉分析——比如“来自北京的移动端用户在过去一周内访问了哪些页面、停留时间分布如何”——awk就力不从心了。这时候需要专门的工具。

GoAccess是我用得最多的一个。C语言写的，终端里直接跑，实时刷新，支持中文界面。它的好处是快，几个G的日志文件几秒钟出结果，而且能直接在SSH会话里看，不用折腾浏览器。缺点是自定义分析维度有限，想加个特殊过滤条件得改配置文件。

AWStats是老牌选手了，Perl写的，功能全，但界面停留在Web 1.0时代，配置也繁琐。适合那种“装好就不想再动”的场景。

如果要更灵活的分析，ELK Stack（Elasticsearch + Logstash + Kibana）是绕不开的。Logstash负责解析日志格式，Elasticsearch建索引，Kibana做可视化。这套组合能做的事几乎没有上限——你可以按地理位置画热力图，按User-Agent分类统计爬虫占比，甚至关联Nginx错误日志和访问日志找出哪些请求导致了5xx。代价是资源消耗大，JVM一启动就是几百兆内存，小站点跑不动。

选工具之前先想清楚要回答什么问题

很多人上来就问“哪个工具最好”，这个问题没有意义。得先问自己：我要从日志里得到什么？

如果只是想知道每天多少PV、多少UV、哪些页面热门，GoAccess五分钟搞定，没必要上ELK。如果是要做安全分析——检测CC攻击、识别恶意爬虫、追踪异常登录——那需要能实时告警和关联分析的工具，比如用Filebeat采集日志，配合Elasticsearch的告警规则。如果是SEO方向，关心搜索引擎爬虫的抓取频率和抓取路径，Screaming Frog Log File Analyser这类专门工具更对口，它能把爬虫行为和站点结构对照起来看。

还有个容易被忽略的点：日志格式本身。默认的combined格式不记录请求耗时，如果你想知道哪个接口慢，得在Nginx配置里加$request_time和$upstream_response_time。不提前改格式，事后分析就是无米之炊。我在项目里一般会自定义日志格式，至少包含：时间、IP、方法、URL、状态码、响应时间、User-Agent、Referer、请求体大小。多记几个字段，日后分析时少求人。

一个具体场景

上个月有个客户说网站偶尔变慢，但监控面板上CPU和内存都正常。我把那几天的access.log拉出来，用GoAccess按响应时间排序，发现/api/search这个接口的P99响应时间飙到了8秒。再按时间维度一看，集中在每天上午十点和下午三点——正好是运营批量上传商品的时间段。搜索接口在重建索引时锁了表。日志里写得清清楚楚，只是没人去看。

日志分析工具的价值不在于工具本身多高级，而在于你能不能坚持去看那些数据。大部分团队装了ELK，Dashboard搭得漂漂亮亮，三个月后没人打开。反而是偶尔跑一次命令行统计，或者用GoAccess扫一眼，能发现真问题。

工具是死的，问题是活的。先有疑问，再找工具，顺序别反了。