爬取网页数据代码

我上周帮一个做电商的网页朋友抓竞品价格，写了三十行Python，数据不到两分钟就跑完两百个页面。代码他盯着屏幕上的网页表格，愣了半天：“就这？数据”对，就这。代码爬虫没那么玄乎，网页核心就三步：请求、数据解析、代码存储。网页但每一步都有坑，数据我一个个说。代码

先看最基础的网页请求代码。用requests库，数据三行就能拿到网页源码：

import requests r = requests.get('https://example.com') print(r.text)

但你以为这就完了？代码对方服务器可能直接甩你一个403。我那天第一次跑就被拦了，报错信息写着“Forbidden”。后来加了headers参数，伪装成浏览器访问才通过。你看，User-Agent必须写清楚，不然人家一眼识破你是机器人。

拿到HTML之后，解析才是重头戏。我习惯用BeautifulSoup，它能把乱糟糟的标签变成可操作的对象。比如抓商品价格，先找到包含价格的div标签：

from bs4 import BeautifulSoup soup = BeautifulSoup(r.text, 'html.parser') price = soup.find('span', class_='price').text

这里有个细节——class属性在Python里是关键字，所以要用class_带个下划线。我第一次写漏了下划线，报错报得莫名其妙，查了半天文档才反应过来。这种小坑最耗时间。

真正让我头疼的是动态加载的页面。有些网站数据是通过JavaScript异步加载的，你用requests拿到的HTML里根本没有那些内容。这时候就得换工具，用Selenium模拟真实浏览器操作。代价是速度慢，一个页面要等两三秒。但没办法，静态请求拿不到的东西，只能让浏览器自己跑一遍。我上次爬某个旅游网站，评论数据全是动态加载的，用Selenium等了十分钟才抓完五十页，气得我中途想摔键盘。

存储环节倒是简单。数据量小就存CSV，Excel打开就能看。数据量大就用SQLite，Python自带sqlite3模块，不用额外装东西。我通常先存成字典列表，再一次性写入文件，比一行行追加快得多。

最后说点经验之谈。爬虫最大的敌人不是技术，是网站的反爬策略。有些网站会检查请求频率，你一秒发十次请求，IP直接封掉。所以代码里一定要加time.sleep()，让每次请求间隔一两秒。还有个办法是使用代理IP池，但这个成本高，个人玩玩没必要。

还有一件事，robots.txt。很多人忽略它，但这是基本的网络礼仪。在爬之前，先访问目标网站的robots.txt文件，看看哪些路径允许爬取。虽然这文件没有法律强制力，但遵守它能让你的爬虫活得久一点。我有个朋友不听劝，硬爬某个禁止爬取的网站，结果对方发了律师函，吓得他连夜删代码。

写爬虫代码就像做菜，配方简单，但火候全靠自己掌握。你得多试错，多处理异常情况。比如网络超时，用try-except包住请求代码，超时就重试三次。比如页面结构变了，你的选择器可能失效，所以最好写个日志，记录每次爬取的成功率。

说到底，爬虫只是工具。代码本身不值钱，值钱的是你分析数据的能力。我那个电商朋友，拿到竞品价格后，调整了自己的定价策略，当月利润涨了百分之十五。这才是爬虫的意义——把公开数据变成决策依据。至于代码怎么写，照着上面的例子改改，跑通一次，你就入门了。