python怎么爬取网页数据

爬网页数据这事儿，网页说穿了就三步：拿到HTML、数据解析HTML、网页提取你要的数据东西。别被网上那些花里胡哨的网页框架吓住，Python里最基础的数据requests加BeautifulSoup组合，能解决八成需求。网页

先看个真实例子。数据我上周帮朋友抓一个电商网站的网页商品价格，对方要求每小时更新一次比价数据。数据用requests发个GET请求，网页带上浏览器UA头，数据二十行代码就搞定了。网页核心就这一句：

resp = requests.get(url,数据 headers={ 'User-Agent': 'Mozilla/5.0'}) 

但很多新手栽在第一步——网页返回200，可内容全是网页空的。为啥？有些站点用JavaScript动态渲染数据，你拿到的是个空壳HTML。这时候别硬刚，先打开浏览器按F12看Network面板，找XHR请求。真正的数据往往藏在某个JSON接口里，直接请求那个接口比解析HTML省事十倍。

拿到HTML之后，解析就是纯体力活。用BeautifulSoup的find和find_all方法，按标签名、class或者id定位元素。比如抓取所有商品标题：

soup = BeautifulSoup(resp.text, 'html.parser') titles = soup.find_all('h2', class_='product-title') 

这里有个坑——class是Python关键字，所以得写class_。我见过有人在这卡了半小时，报错信息都看不懂。还有一点，如果页面结构复杂，嵌套层级深，建议用CSS选择器，soup.select('div.content > ul > li > a')这种写法更直观。

提取完数据，别急着存。先想想你要的是什么格式。CSV最省事，Excel也支持。但如果你要长期用，建议存SQLite，轻量还不用装数据库服务。写文件时记得加encoding='utf-8'，否则中文全变乱码——这又是另一个新手重灾区。

爬虫最烦人的不是代码，是反爬。有些网站检测请求频率，你每秒发5个请求，IP直接封掉。解决办法也简单：加延时，time.sleep(1)；换代理IP；或者用session维持cookies。但说句实话，正经做数据采集，遵守robots.txt是底线，别把人家服务器搞崩了。

另外，学习爬虫最好的方式不是看教程，是直接上手爬一个你真正需要的网站。我当初练手是爬豆瓣电影Top250，页面结构规整，没有复杂反爬，数据量适中。把那个爬下来，基本语法就熟了。之后再碰动态加载、登录验证、验证码这些进阶问题，才有底气去查资料。

最后提醒一句，爬下来的数据别乱发。涉及个人隐私或者版权内容，法律风险不小。技术本身是中性的，怎么用是你的事。国内已经有几起因为爬虫吃官司的案例，罚款金额够买好几台服务器了。所以，代码能跑就行，但脑子得清醒。