网站镜像工具

我电脑里存着一个2016年的网站网站镜像，整整4.2GB。镜像那是工具某个已经消失的音乐论坛，当年花了两天两夜才抓完。网站现在打开它，镜像还能看到当年那些人在争论MP3音质和CD到底有没有区别——帖子停在2015年某个深夜，工具最后一条回复是网站“楼主你木耳，退散吧”。镜像

网站镜像工具，工具说白了就是网站把整个网站搬回家的搬运工。wget是镜像命令行里的老黄牛，HTTrack是工具带着图形界面的搬运队长。它们干的网站事情都一样：顺着链接爬，把网页、镜像图片、工具CSS、JS全部拽下来，存成能在本地打开的文件。和浏览器“另存为”不一样，镜像工具会递归——你存一个页面，它会顺着这个页面里的所有链接继续存，直到把整个站点的结构都复刻下来。

我最早用这玩意儿是为了对付公司要倒闭的Wiki。那是个内部技术文档库，几千篇操作手册，老板说下个月服务器就停了。当时我根本不懂什么爬虫，就在网上搜“怎么把整个网站下载下来”，然后装了HTTrack。界面丑得像上个世纪的产物，但确实管用。设置好最大链接深度，勾上“获取所有文件类型”，点开始，看着进度条一格一格跳，像在给一个生命做临终关怀。

镜像有个麻烦事：动态网站抓不干净。现在大部分网站都是数据库驱动，页面是服务器现拼的。你抓下来的是HTML骨架，但那些数据是Ajax异步加载的，镜像工具根本等不到。我试过镜像一个电商网站的产品页，抓下来全是空壳，图片位置留着一片灰白，跟被抽了魂似的。所以正经做镜像得用更狠的工具，比如Cyotek WebCopy，或者干脆自己写Python脚本配合Selenium模拟浏览器滚动。

还有版权问题。你镜像别人的网站，等于把人家内容整个搬到自己硬盘上。个人存档没人管你，但要是拿去重新发布，分分钟吃官司。2019年有个哥们镜像了某新闻网站，还挂到自己服务器上，结果被索赔了八十万。这玩意儿就是个灰色地带——技术上容易，法律上危险。

现在云端存档工具越来越多了，Archive.today、Wayback Machine都能帮你存网页快照，不用自己动手。但那些服务存的是“页面”，不是“网站”。你要是想完整保留一个论坛的几十万条帖子，或者一个带完整目录结构的文档站，还是得自己动手。

去年我重新打开那个音乐论坛的镜像，发现当年下载的图片有一半已经裂了，因为外链图床早就失效。但文字都在，那些关于打口碟、关于现场演出、关于设备评测的帖子，一个字都没少。那一刻我突然觉得，镜像工具不只是技术工具，它还是数字时代的琥珀——把某个时间点的网络切片封存下来，等着你哪天回来，拨开灰尘再看一眼。
搞技术的朋友要是想玩，直接从wget开始就行。wget -m -p -E -k -np http://example.com，一行命令，剩下的交给时间。但别贪多，硬盘会哭的。