py爬虫教程

凌晨两点，爬虫我盯着终端里滚动的教程状态码，第37次请求还是爬虫返回403。隔壁室友的教程键盘声早就停了，只有散热风扇在嗡嗡转。爬虫那一刻我突然意识到，教程爬虫这活儿，爬虫百分之八十的教程时间不是在写代码，而是爬虫在跟网站斗智斗勇。

先别急着装库。教程你得搞清楚自己要抓什么。爬虫拿豆瓣电影Top250举例——这页面结构简单，教程反爬也松，爬虫最适合练手。教程打开浏览器按F12，爬虫Network面板里刷新一下，找到那个叫list的请求，看它的响应内容。对，就是这种纯HTML，没加密没动态加载。这种时候，requests.get()加个简单的UA头就能搞定。

import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} resp = requests.get('https://movie.douban.com/top250', headers=headers) soup = BeautifulSoup(resp.text, 'html.parser') titles = soup.select('.hd .title') for t in titles[:5]: print(t.get_text(strip=True)) 

跑通了？恭喜你，但别高兴太早。真到了大规模抓取，你会发现这代码脆弱得像纸糊的。对方加个验证码，加个IP封锁，加个JavaScript渲染，你的脚本就直接报废。我见过太多新手卡在这步——以为爬虫就是发请求解析HTML，结果遇到动态页面就懵了。

这时候得换思路。如果目标网站是SPA（单页应用），数据往往藏在XHR请求里。还是F12，切到Network的XHR过滤，翻页看接口返回什么。豆瓣的搜索接口返回JSON，直接解析比处理HTML省事十倍。但有些网站更狠，接口带签名，参数有加密，这时候要么逆向JS，要么用Playwright模拟真实浏览器。

说个我自己的教训。去年抓某电商平台的价格，一开始用requests硬刚，封了三个IP才反应过来。后来改用Playwright，启动Chromium无头模式，等页面渲染完再取数据，虽然慢点，但稳定得让人想哭。代价是内存占用高，跑十个页面就得清一次缓存——这活儿，本质是拿资源换稳定。

还有个容易踩的坑：robots.txt。别管它法律效力如何，有些站点的反爬逻辑就是照这个文件来的。你规规矩矩遵守，至少能少挨几次封禁。另外，请求间隔别设太短。我习惯每次请求后随机sleep 0.5到1.5秒，配合IP池轮换，基本能绕开大多数基础防护。

存储这块，别老想着CSV。数据量一大，CSV读写就成瓶颈。直接上SQLite，轻量又可靠。写个简单的cursor.execute插入，比pandas的to_csv靠谱多了。要是数据带嵌套结构，MongoDB的dict插入更省心——反正爬虫嘛，灵活性优先。

最后说点实在的。爬虫这技术，上限不在代码，在于你多懂网站。会看Network面板，会分析请求参数，会读JS混淆代码，比背十个框架都管用。我电脑里躺着三十多个爬虫脚本，大部分都是requests加BeautifulSoup，真正用到Scrapy的没几个。工具不在多，顺手就行。

写累了，去泡杯茶。你要是真卡在某个反爬策略上，别硬刚，换个角度想：这网站的数据真的值得你花三天去逆向吗？有时候换个数据源，比对抗反爬划算得多。当然，如果你享受那种破解的快感——那当我没说，祝你玩得开心。