网络爬虫的工作原理

你在搜索引擎里敲下几个字，零点几秒后返回几百万条结果。爬虫这背后不是作原魔法，是网络一群程序像不知疲倦的蚂蚁，提前把整个互联网啃了一遍，爬虫把内容搬回自己的作原仓库。这些程序就是网络网络爬虫。

爬虫的爬虫本质是自动化的HTTP客户端。你打开浏览器访问网页，作原浏览器向服务器发请求，网络服务器把HTML、爬虫CSS、作原JavaScript丢回来，网络浏览器渲染成你能看的爬虫页面。爬虫干的作原是同一件事，只是它不渲染，它只关心原始数据。Python的requests库三行代码就能抓下一个网页：指定URL、发送GET请求、读取响应内容。就这么简单。但简单的东西一旦乘以十亿量级，问题就全冒出来了。

一个爬虫系统通常拆成四个部分：调度器、下载器、解析器、存储器。调度器管“接下来抓哪个URL”，下载器负责把页面拉下来，解析器从HTML里抽出链接和需要的数据，存储器把结果写进数据库。听起来像流水线，实际跑起来更像交通调度——有些路堵死了，有些路通向死胡同，还有些路你根本不该走。

先说URL管理。互联网上的链接是图结构，不是树。一个页面链向另一个，另一个又链回来，爬虫如果没策略，会在几个页面之间无限打转。解决办法是维护一个“已访问集合”，通常用布隆过滤器（Bloom Filter）来省内存。布隆过滤器有个特点：它说“这个URL没访问过”，那一定没访问过；它说“访问过了”，有极小概率是误判。对爬虫来说，偶尔漏掉一个页面比撑爆内存划算得多。

抓取策略也有讲究。最朴素的是广度优先——先把首页所有链接抓完，再抓第二层。这适合覆盖整个站点。另一种是深度优先，一条路走到黑，适合抓取特定路径下的内容。实际系统里往往是混合的，再叠加优先级。比如新闻网站，首页链接的权重就比“关于我们”高得多。

下载器这块，绕不开反爬。服务器不是傻子，一个IP每秒请求几百次，日志里一眼就能看出来。常见的反制手段包括：限制IP请求频率、检查User-Agent、要求登录、验证码、甚至返回假数据。爬虫的应对方式也五花八门——换代理IP池、轮换User-Agent、模拟登录、OCR识别验证码。这是一场持续的猫鼠游戏。我见过一个电商价格监控项目，维护了上千个代理IP，每天有三分之一的请求被目标网站拦截，剩下的靠分布式节点分摊压力才勉强跑通。

解析器负责从混乱的HTML里提取结构化数据。正则表达式是最原始的工具，快但脆弱——页面结构一改就全废。后来有了XPath和CSS选择器，定位更稳。再往后，很多网站用JavaScript动态渲染内容，HTML源码里根本没有数据。这时候要么用Selenium或Playwright这类无头浏览器真实渲染页面，要么直接分析XHR请求，找到后端API接口直接调。后者效率高得多，但需要逆向工程，门槛不低。

存储环节看起来最简单，其实也有坑。爬回来的数据往往重复、缺失、格式混乱。去重、清洗、补全，这些活占用的时间经常比抓取本身还多。而且爬虫抓下来的数据量增长极快，一个中等规模的新闻爬虫，一天跑下来就是几十GB的原始HTML。存什么、怎么存、存多久，都是要提前想清楚的。

法律和伦理是另一个维度。robots.txt是网站给爬虫的“君子协定”，规定了哪些路径可以抓、哪些不行。它没有强制力，但无视它可能招来法律风险。2019年hiQ Labs诉LinkedIn案，法院最终判定抓取公开数据不违反《计算机欺诈与滥用法》。但“公开数据”的边界在哪，至今没有统一答案。我的判断是：抓公开页面、控制频率、不绕过技术封锁、不损害网站正常运行，这四条底线守住了，大部分场景下是安全的。

最后说一个容易被忽略的点：爬虫的“礼貌”。好的爬虫会在请求头里带上联系方式，遇到403或429状态码就退避重试，而不是硬刚。互联网是公共资源，爬虫消耗的是别人的带宽和计算力。写爬虫的人心里得有一根弦——你是在借别人的东西，不是在抢。