凌晨三点，爬虫我盯着终端里刷过的网站上千条HTTP状态码，突然发现一个规律：所有返回403的代码请求，都带着同一个User-Agent。爬虫那是网站Python-requests的默认标识，像穿着一件印着“我是代码爬虫”的T恤在街上晃悠。改掉它，爬虫再跑一遍，网站数据像开了闸的代码水一样涌进来。那一刻我意识到，爬虫写爬虫网站代码，网站七成时间在跟反爬斗智斗勇，代码三成时间才真正在写抓取逻辑。爬虫

拿最简单的网站静态页面说事。目标网站是代码某个公开的图书榜单，HTML结构干净得像个处女座程序员写的。核心代码就三行：用requests.get拿到页面，用BeautifulSoup解析，再用select方法定位书名和作者。但真跑起来，第一版代码连十分钟都没撑住——对方服务器直接把我IP封了。查日志才发现，每秒发三个请求都算高频，人家网站扛不住这么热情的访问。后来加了个time.sleep(2)，再随机挑几个常见浏览器的User-Agent轮换着用，这才安稳地跑完整个榜单。

动态页面就麻烦多了。数据藏在XHR请求里，页面源码干干净净，像刚拖过的地板。这时候得打开浏览器开发者工具，切到Network面板，盯着那些返回JSON的接口看。有个电商网站的评论数据，我找了半小时才发现，真正的接口藏在某个看似无关的图片请求里，参数还带时间戳和签名。复制那个请求头到Python里，用requests模拟发送，数据照样能拿。但签名算法得逆向，F12断点调试，一行行看混淆过的JavaScript，那种感觉像在解一道没有标准答案的谜题。

写代码时最怕的不是反爬，是网站改版。头一天跑得好好的选择器，第二天全失效了。有个朋友做过一个新闻网站的爬虫，每周五都得手动修一次CSS类名，后来他干脆用正则匹配正文文本，虽然偶尔会混入广告词，但比天天维护选择器省心。这行当没有一劳永逸的写法，除非你爬的是自己家的测试站。

处理编码是另一个坑。有些老网站用GB2312，requests拿到的bytes直接decode('utf-8')会报错，得先看响应头里的charset，或者用chardet库猜。一次爬某个地方论坛，标题全变成乱码，我以为是加密，折腾半天才发现是编码识别错了。换用response.encoding = 'gbk'，瞬间正常。那种柳暗花明的感觉，比拿到数据本身还爽。

最后说存储。小规模数据存CSV就行，但字段里带逗号或换行符会搞乱格式，得用csv库处理。数据量大了就上SQLite，不用额外装数据库服务。我习惯在每轮请求后立刻写入，防止中途崩溃丢了全部进度。毕竟爬虫跑几个小时，谁也不想因为网络波动让之前的努力白费。

说实话，写爬虫代码的门槛不高，但把代码写得稳、写得快、写得能应对意外，才是真正考验人的地方。它不像写业务系统那样有清晰的需求文档，更像是一场跟网站管理员的猫鼠游戏。你永远不知道对方下次会用什么招数，但每次破解成功，那种满足感是实实在在的。现在我的爬虫代码里永远留着异常捕获和重试机制，不是因为我谨慎，而是被坑太多次了。