上周帮同事抓一个老论坛的网页教程帖，对方发来链接说“图片全挂了，代码文字也复制不全”。下载我打开开发者工具扫了一眼，网页发现正文被包在三层div里，代码中间还夹着两个iframe。下载手动复制？网页半小时都搞不定。写个脚本跑一下，代码十秒钟拿到干净的下载HTML和所有配图。这就是网页网页代码下载器存在的意义——它不是给普通用户“保存网页”用的，是代码给需要批量、精准、下载可编程地获取页面结构的网页人准备的。

浏览器自带的代码“另存为”其实是个半残废。它会把CSS、下载JS、图片全部塞进一个文件夹，文件名乱七八糟，路径全是相对链接。你拿到的index.html打开一看，布局还在，但稍微换个目录就全崩。更麻烦的是动态渲染的内容——比如用React或Vue生成的列表，右键查看源代码根本看不到，因为DOM是运行时才挂上去的。这时候你需要的是能执行JavaScript再抓取的工具，而不是简单的HTTP请求库。

我常用的组合是Puppeteer加Node.js。写个脚本启动无头Chrome，等页面networkidle再拿document.documentElement.outerHTML。这样连懒加载的图片地址都能拿到。有一次抓一个电商分类页，滚动到底部触发加载，结果发现每滚一次就多出二十个商品。手动滚了四十次才到底，脚本里写个循环监听scrollHeight变化，三行代码解决。这种场景下，网页代码下载器本质上是个“浏览器自动化+序列化”的工具链。

Python那边Requests+BeautifulSoup更轻量，但遇到Cloudflare盾或者需要登录的页面就歇菜。Selenium倒是能过，但速度慢得让人想砸键盘。我的判断是：静态页面用Requests，动态交互用Puppeteer，需要过验证的用Playwright配合stealth插件。没有银弹，得看菜下饭。

有个坑得提醒。很多网站会检测navigator.webdriver属性，无头模式一开就被识别。解决办法是启动时加--disable-blink-features=AutomationControlled，再手动覆盖window.navigator的webdriver为false。这招对中等强度的反爬有效，遇到专业风控还是得换IP池。我试过用住宅代理跑Puppeteer集群，成本高得离谱，最后发现目标站其实只查User-Agent和Cookie——绕了一大圈。

下载下来的HTML别急着丢进数据库。先跑一遍tidy或者html5lib做规范化，把自闭合标签补全，属性顺序统一。否则后面用XPath提取时，不同页面的微小差异能让你调半天。我习惯把原始HTML和清洗后的版本分开存，原始文件用来回溯问题，清洗后的用来做解析。磁盘便宜，时间贵。

最后说个真实案例。有个客户要抓政府公开数据，页面是表格，但每个单元格里嵌了span做样式。直接text()提取会带一堆空白和换行。我写了个递归函数，遍历子节点只取文本节点，再strip掉多余空格。结果发现有些单元格用 占位，得单独替换成空字符串。这种细节文档里不会写，只能靠一个个页面试出来。网页代码下载器给的是原材料，怎么切怎么炒，还得看厨子。

工具本身不复杂，复杂的是页面背后的逻辑。你下载的是代码，要理解的是结构。