python爬虫入门教程

我盯着那个500 Internal Server Error的爬虫报错页面，差点把键盘摔了。入门这是教程第三个深夜，我在爬一个二手书交易网站，爬虫只为收集某位冷门作家的入门签名本价格。这台老旧的教程笔记本风扇狂转，仿佛在嘲笑我的爬虫固执。但正是入门这个报错，让我真正开始理解爬虫——它从来不是教程“请求网页再解析”那么简单，而是爬虫一场与服务器、与反爬机制、入门与我自己代码缺陷的教程持续博弈。

第一天，爬虫我天真地以为爬虫就是入门requests.get()加BeautifulSoup。确实，教程最简单的静态页面，比如那个没有登录墙的政府公开数据网站，三行代码就能拿到表格：

import requests from bs4 import BeautifulSoup r = requests.get('http://example.gov/data') soup = BeautifulSoup(r.text, 'html.parser') print(soup.find_all('tr')) 

但真实世界的网站往往没那么友善。那个二手书网站，第一次请求就返回了200，页面里却只有一段JavaScript加载的空白div。我这才意识到，我面对的是动态渲染页面——数据藏在XHR请求里，浏览器开发者工具的网络标签页才是真正的宝藏。按下F12，翻到XHR分类，刷新页面，看着一个个JSON请求蹦出来。复制那个看起来最像数据接口的URL，直接在浏览器打开，嘿，干净的JSON数组躺在那里，比HTML好解析一百倍。

于是我的代码升级了。不再直接抓页面，而是模拟那个XHR请求，带上必要的headers——User-Agent得换成浏览器版本，Referer也得填上，不然服务器会礼貌地回你一个403。第一次成功拿到那本书的价格数据时，我兴奋地截图发给朋友。但这份快乐只持续了二十分钟——我连续请求了三十次之后，IP被封锁了。那个“您访问过于频繁”的提示页面，比任何教科书都直观地教会了我什么是反爬。

那晚我学会了设置time.sleep()，随机延迟两到五秒。后来发现还要处理cookies，有些数据必须登录才能看到，于是又去研究session对象。最头疼的是遇到一个用字体反爬的网站——页面上的数字看起来正常，复制下来却是乱码。我盯着网页源码里那些奇怪的unicode字符，花了三个小时才搞明白：他们把数字映射成了自定义字体。解决方案是下载那个woff字体文件，解析字形对应关系。那一刻我真心觉得，爬虫与其说是编程技术，不如说是侦探工作。

写到这里，你大概猜到了——入门教程不该只讲代码，更该讲思路。我的建议是：先别急着装scrapy框架，从requests开始，从你真正想获取的数据开始。找个公开API练手（比如GitHub的接口），再挑战静态网站，最后碰动态页面。每次反爬机制逼你多学一样东西——代理池、验证码识别、selenium模拟浏览器——那都是你在真实需求驱动下学到的，比任何教程都牢固。

当然，我也得提一句法律边界。爬取公开数据用于个人学习没问题，但别碰个人隐私信息，别对服务器造成压力。那个二手书网站后来我加了更长的延迟，还特意在凌晨两点跑任务，算是跟它达成了某种默契。现在我的笔记本安静地运行着，每二十分钟抓一次价格变动，已经稳定运行一周没被封。那种感觉，比拿到数据本身还让人上瘾。