```html

用Python抓网页，网页别想得太复杂

上周帮朋友抓一个招聘网站的网页数据，他以为要写几百行代码。网页结果我用了不到20行，网页requests加BeautifulSoup，网页十分钟搞定。网页他盯着屏幕愣了半天：“就这？网页”对，就这。网页网页抓取这件事，网页入门门槛低到离谱，网页但坑也埋得足够深。网页

先搞清楚一个事：你看到的网页网页，和代码拿到的网页网页，经常不是网页同一个东西。浏览器打开开发者工具，网页Elements面板里花花绿绿的标签，那是浏览器渲染完JavaScript之后的DOM。requests发出去，拿回来的是服务器吐给你的原始HTML。如果网站用React或Vue搞了前端渲染，你拿到的可能就是一个空壳加一堆script标签。这时候别急着骂Python不行，换工具就行——Selenium或者Playwright，让浏览器自己跑起来，等页面加载完再抓。代价是慢，但能解决大部分动态内容的问题。

抓什么，怎么抓，先想清楚

我见过有人写爬虫，上来就for page in range(1, 1000)，然后被网站封IP，跑来问我为什么。你连目标页面的URL规律都没摸清，就敢循环一千次？打开浏览器，翻到第二页、第三页，看看地址栏怎么变的。是?page=2这种老实人参数，还是/p/2/这种路径，或者干脆用POST请求带offset。规律找到了，再决定怎么构造请求。

另一个常见毛病：把整个页面文本抓下来，然后用正则去匹配。能跑，但脆得像薯片。网站改个class名，你的正则就废了。BeautifulSoup的find和select就是干这个的，CSS选择器写熟了，比正则舒服太多。比如soup.select('div.job-list > a.title')，一眼就知道在找什么。XPath也行，lxml解析器快得飞起，但语法稍微绕一点。个人习惯：小项目BeautifulSoup够用，数据量大上lxml，需要模拟点击再考虑Selenium。

那些没人告诉你的坑

User-Agent不写，很多网站直接返回403。这不是技术问题，是态度问题——你连装都不愿意装一下。加个headers = { 'User-Agent': 'Mozilla/5.0 ...'}，世界立刻友好很多。还有编码，requests的response.text有时候会猜错编码，中文变乱码。手动指定response.encoding = 'utf-8'，或者用response.content.decode('utf-8')，别偷懒。

频率控制是老生常谈，但总有人不当回事。我抓一个政府公开数据网站，每秒一次，抓了200页没事。换了个电商网站，同样频率，第三页就弹验证码。后来改成每请求间隔2秒，加随机抖动，稳了。time.sleep(random.uniform(1, 3))，这行代码救过我的命。别觉得慢，你被抓一次封IP，重新拨号换代理的时间够你睡三觉。

数据存哪，也是个选择题

抓个几十条，存CSV最省事，pandas一梭哈。df.to_csv('data.csv', index=False)，完事。数据量大、要查询、要关联，上SQLite或MySQL。别用txt一行行写，后面处理起来想死。我有个朋友抓了十万条评论存成txt，每行用|||分隔，后来想按时间排序，写了半小时正则还没搞定。何必呢。

最后说句实在的：网页抓取的法律边界比技术边界重要得多。robots.txt看一眼，别抓个人隐私数据，别把人家服务器搞崩。技术是中性的，用的人得有点分寸。我一般会在代码里加个timeout=10，超时就放弃，不跟一个页面死磕。抓不到就抓不到，换个思路，或者直接找官方API。很多时候，API比爬虫香多了，只是你没去找。

Python抓网页，核心就三件事：拿到HTML、解析出数据、存下来。剩下的都是细节打磨。别被那些“反爬虫大战”的文章吓住，大部分网站根本没那么多防御。你需要的只是一点耐心，和一颗不怕报错的心。

```