python爬取网页数据实例

我上周帮朋友抓一个电商网站的网页商品价格，差点被反爬机制逼疯。数据实例对方站点用了动态加载，网页直接requests.get拿不到任何数据，数据实例返回的网页HTML里连商品名称的影子都没有。后来换成selenium模拟浏览器，数据实例才把数据弄到手。网页这个教训让我明白，数据实例爬虫的网页第一步从来不是写代码，而是数据实例先搞清楚目标页面到底怎么渲染的。

拿一个最简单的网页静态网页来说。假设要抓某个新闻列表的数据实例标题和发布时间，用requests库加BeautifulSoup就够了。网页先发个GET请求，数据实例带上常见的网页User-Agent伪装成浏览器，服务器一般不会为难你。响应状态码是200就继续，是403或者418就得换个策略。解析时用BeautifulSoup的find_all方法，按class或者标签定位元素，提取text属性存进列表。整个过程二十行代码就能搞定。

动态页面就麻烦多了。数据藏在JavaScript里，得分析XHR请求。按F12打开开发者工具，切到Network面板，刷新页面看哪些接口返回了JSON数据。找到那个返回商品列表的URL，直接模拟这个请求，反而比渲染整个页面更高效。我那次抓电商数据就是这么干的，绕过了selenium的笨重，用session维持登录状态，请求头带上Referer和X-Requested-With，服务器就乖乖吐数据了。

存储环节也有讲究。数据量小的时候，存CSV文件最省事，pandas的to_csv一行代码搞定。但要是每天抓几千条，最好还是进数据库。SQLite是轻量首选，不用单独装服务，Python内置sqlite3模块直接操作。字段设计要预留扩展空间，比如商品价格可能会变，就加个抓取时间戳，方便后续分析价格波动。

反爬机制是绕不开的坎。最常见的IP限制，用time.sleep随机延时能缓解，但遇上封IP狠的就得用代理池。免费代理不稳定，付费的又心疼钱，我的办法是抓几个免费代理源，写个定时任务验证可用性，维护一个动态池。验证码更头疼，简单的数字验证码用OCR识别，复杂滑块就得靠selenium模拟拖拽了。

说个具体案例。上个月爬某个招聘网站的岗位信息，页面结构不复杂，但每页只显示15条，翻页参数是URL里的page字段。我循环请求了50页，每页间隔两秒，抓了750条数据。结果第二天再跑，IP就被封了。后来加了代理轮换，每次请求随机选一个IP，又把请求间隔拉长到五秒，才稳定运行。关键是要控制节奏，别把对方服务器逼急了。

还有个细节容易被忽略——编码问题。有些老网站用GBK编码，直接解析会出乱码。requests拿到响应后先检查apparent_encoding，再手动指定正确的编码。处理中文内容时，最好统一转成UTF-8存储，免得后面分析数据时各种踩坑。

爬虫写完后要养成检查robots.txt的习惯，这不是道德绑架，是给自己省麻烦。有些站点的robots协议明确禁止爬取，硬闯只会换来法律函。我见过一个开源项目因为没遵守协议，被目标网站起诉，最后项目下架、作者赔钱。技术本身没有对错，但用技术的人得掂量后果。

最后提醒一句，抓下来的数据别直接用。先做清洗，去掉空值和重复项，再验证字段格式。我爬过的一个网站，价格字段偶尔会混入"面议"这种非数字文本，不处理的话，后续做数据分析时直接报错。清洗完的数据才真正有价值，能用来做趋势分析、价格监控，或者喂给机器学习模型。

爬虫这条路，入门容易精通难。多踩几个坑，多看看别人的实战案例，比啃理论书管用得多。遇到问题先拆解目标网站的技术栈，再选合适的工具组合，比盲目硬写代码高效十倍。