我盯着终端里滚动的网页状态码，403。内容网站的网页反爬机制又升级了。这已经是内容本周第三次被拦，每次都得换策略。网页说实话，内容抓网页这事儿，网页技术难点从来不在写代码，内容而在跟对方网站的网页工程师斗智斗勇。

就拿最简单的内容requests库来说，十行代码能搞定的网页事，真跑起来全是内容坑。你发个GET请求，网页对方返回200，内容你以为成功了？网页打开一看，是个验证码页面。现在稍微有点规模的网站，都上了WAF（Web应用防火墙），你那个Python脚本的User-Agent一露头，人家就识别出来了——浏览器指纹、TLS握手特征、请求频率，全是破绽。

我常用的套路是先伪装成真实用户。headers里把User-Agent换成Chrome的，Accept-Language设成zh-CN，再带上Cookie。有些网站还要你模拟鼠标轨迹，那就得上Selenium或者Playwright这类浏览器自动化工具。但代价是速度慢，一个页面要等两三秒渲染完才能抓。之前抓某电商平台的商品价格，用Selenium跑了两个小时，才抓了八百多个SKU，效率低得让人想摔键盘。

换个思路，直接分析它的Ajax接口。打开浏览器开发者工具，切到Network面板，刷新页面，看哪些XHR请求返回了JSON数据。找到那个返回商品列表的接口，直接拿requests去请求它，速度瞬间从每秒0.5个页面提升到每秒二十个请求。但风险也大，对方后端日志一看，同一个IP短时间请求频率异常，直接封IP段。所以我备了十几个代理IP池，轮着用。

有个朋友做舆情监控，抓新闻评论。他一开始老老实实爬静态HTML，后来发现评论是动态加载的，后端有个GraphQL接口。他花了半天逆向出查询参数，构造了复杂的嵌套请求，结果对方接口有速率限制，每IP每分钟最多30次。他干脆改成分布式抓取，用三台云主机轮流请求，再把数据汇总到MongoDB里。那阵子他天天跟我抱怨，说这活干得像在跟对方的安全团队下棋。

但真正让我觉得抓取有魅力的，是处理那些非结构化数据的时候。比如抓一个论坛的帖子列表，HTML标签嵌套得乱七八糟，有的段落缺闭合标签，有的属性值带了转义字符。用正则表达式硬抠，很容易出错。后来我改用lxml的XPath，按路径定位元素，稳得多。再不行就用BeautifulSoup的find_all，虽然慢点，但容错性好。有个老哥更绝，直接用CSS选择器，配合parsel库，写出来的代码跟jQuery似的，简洁得让人羡慕。

抓下来的数据存哪？小项目直接存CSV，字段一多就上SQLite。我有个习惯，每个抓取任务都写个独立的存储模块，这样换数据库的时候不用改爬虫逻辑。之前帮人抓招聘网站的职位信息，存了十几万条记录，SQLite扛不住查询了，我连夜迁移到PostgreSQL，加了全文索引才缓过来。

最后说句实在话，写爬虫最耗时间的不是代码，是调试。你永远猜不到对方网站下一秒会怎么改版——昨天还叫class="price"，今天就改成data-price属性了，你的选择器全部失效。所以代码里得留好日志，抓不到数据时能快速定位是网络问题、解析问题还是反爬拦截。跑批任务的时候，我习惯每抓一百条就打印一次进度，看着计数器慢慢涨，心里才踏实。

说到底，抓网页就是一场持续的猫鼠游戏。你这边刚把验证码识别搞定，人家那边上了滑块验证。技术永远在变，但核心思路不变：模拟真实用户，解析数据源，做好异常处理。只要这三样扎实了，换个网站也就是改改配置的事。