爬取网站数据代码

我写爬虫的网站动机，从来不是数据为了技术炫技。三个月前，代码我需要一份全市咖啡馆的网站营业时间表，用来规划周末探店路线。数据手动查了二十家之后，代码我决定让代码替我干活。网站

Python的数据requests库加上BeautifulSoup，是代码最直白的组合。先发一个GET请求，网站把网页的数据HTML抓下来，再用解析器提取想要的代码内容。代码短得惊人：

import requests from bs4 import BeautifulSoup res = requests.get('https://example.com/cafes') soup = BeautifulSoup(res.text,网站 'html.parser') for item in soup.select('.cafe-name'): print(item.text) 

这段代码能跑，但只能跑一次。数据真实场景里，代码网站会反爬。我遇到过返回403的，也见过内容被JavaScript动态加载的——requests根本拿不到数据。这时候得换selenium，它模拟真实浏览器操作，慢，但有效。

有一次我爬某点评网站，对方服务器识别出我是脚本，直接弹验证码。我盯着屏幕上的滑块验证码发呆，最后手动滑了一下，代码继续跑。这让我明白，爬虫不是纯技术问题，它是一场和网站方的猫鼠游戏。

写爬虫最容易被忽略的是robots.txt。这个文件写在网站根目录，声明哪些路径允许爬取。我见过不少同行直接无视它，结果IP被永久封禁。尊重规则不是道德问题，是生存问题。

另一个坑是数据清洗。你以为拿到HTML就完事了？网页里满是标签、空格、转义字符。我爬过一份商品列表，价格字段里混着"￥"符号和换行符，处理这些比写爬虫本身更耗时。后来我习惯用pandas做后续整理，把数据存成CSV，方便随时查看。

爬虫的速度也要控制。每秒发几十个请求，对方服务器压力大，你的IP也容易暴露。我通常加个time.sleep(1)，让请求间隔一秒。慢是慢了点，但稳当。有一次我贪快，并发请求了上百个，结果对方防火墙直接把我整个网段封了，连累同事一起断网。

最让我意外的是，有些网站的数据藏在接口里，而不是网页上。打开浏览器开发者工具，切到Network面板，能看到页面加载时发出的XHR请求。这些接口往往返回JSON格式数据，结构清晰，比解析HTML省事多了。比如某天气网站，网页上显示温度，但真正的数据来自一个简单的API，直接返回当前温度、湿度、风速。爬这种接口，代码更短，效率更高。

如果你要爬的数据量不大，几百条而已，完全可以用在线工具或浏览器插件搞定。写代码反而是个笨办法。但如果你需要定时抓取、增量更新、或者处理复杂的登录态，那还是得老老实实写脚本。

爬虫写多了，我反而更敬畏数据。每一个字段背后都是真实世界的投影。咖啡馆的营业时间、商品的实时价格、新闻的发布时间，这些数据被爬下来之后，成了我决策的依据。但我也清楚，代码能爬到的只是表面，真正的价值在于你怎么解读这些数据。

说到底，爬虫代码只是工具。它不复杂，也不神秘。复杂的是你想从数据里得到什么，以及你愿不愿意花时间去清洗、分析、理解它们。我的咖啡馆地图最终做成了，用了三天时间，爬了四百多家店的数据。但真正让我开心的不是代码跑通了，而是周六下午，我按着那份数据找到一家藏在巷子里的手冲店，老板和我聊了半小时咖啡豆的产地。

那杯咖啡的味道，代码爬不出来。