网页爬虫python代码

一个爬虫最核心的网页代码，其实只有三行。爬虫你用requests库请求网页，代码用BeautifulSoup解析HTML，网页再用循环把想要的爬虫数据抽出来。就这三步，代码没了。网页别被网上那些花里胡哨的爬虫教程吓住，什么Scrapy框架、代码分布式爬虫、网页IP代理池——那是爬虫工业级的事。你只是代码想要某个网站上的几百条信息，三行代码就够了。网页

我写过一个爬虫，爬虫专门抓豆瓣读书的代码评分。当时想看看近五年出版的小说里，到底哪些被高估了。代码长这样：

import requests from bs4 import BeautifulSoup url = 'https://book.douban.com/tag/小说' resp = requests.get(url, headers={ 'User-Agent': 'Mozilla/5.0'}) soup = BeautifulSoup(resp.text, 'html.parser') for item in soup.select('.subject-item'): title = item.h2.a.text.strip() rating = item.select_one('.rating_nums').text print(title, rating) 

这代码跑起来，豆瓣的页面结构变了，或者服务器加了反爬，立刻就会报错。但没关系，爬虫本来就是脆弱的。你改一改选择器，换个headers，又能跑。真正的门槛不在代码，在于你愿意花多少时间去调那些细节。

有个细节很多人忽略：robots.txt。这是网站告诉你“哪些路径可以爬、哪些不行”的协议。不是法律，但遵守它，能让你少惹麻烦。我见过有人爬电商网站的商品评论，没看robots，直接把人家服务器爬崩了。结果对方一封律师函过来，赔了钱还得写保证书。你个人用，抓个几百条数据，控制频率，别给服务器添堵，基本没人管你。

还有个实际问题：动态页面。现在很多网站的内容是JavaScript渲染出来的，直接请求HTML根本拿不到数据。这时候你得用Selenium或者Playwright，模拟浏览器操作。代码会复杂很多，但原理没变——你还是拿到渲染后的HTML，再用BeautifulSoup去解析。别怕，工具变了，思路一样。

写爬虫最爽的时刻，是你发现某个数据源有规律。比如政府公开的统计报表，或者某个论坛的帖子列表。你写个循环，一页一页翻，数据哗啦啦往CSV里灌。那种掌控感，比玩游戏上头多了。但最沮丧的时刻也发生在下一秒——网站改了HTML结构，你的选择器全部失效，刚才还能跑的程序瞬间变成一堆废代码。

所以我的经验是，爬虫代码永远不要写得太完美。够用就行，因为你大概率会重写。把解析逻辑和请求逻辑分开，这样改起来快。数据存下来之后，第一时间备份。别问我怎么知道的——我丢过三次数据，每次都是因为“先跑跑看，回头再存”。

最后说一句，爬虫是工具，不是目的。你真正想要的是那些数据背后的洞察。别在工具上恋战，能跑就行。等哪天真需要大规模采集了，再去研究Scrapy的中间件和并发控制。现在，把上面的代码改改，去抓点你感兴趣的东西。跑通了，你会觉得这玩意儿真简单。