怎么爬取网页文字

爬网页文字，网页文字本质上就是网页文字两件事：拿到HTML源码，再从源码里把有用的网页文字文本抠出来。别想复杂了，网页文字Python加上requests和BeautifulSoup这两个库，网页文字十行代码就能搞定最基础的网页文字场景。

先看一个最直接的网页文字例子。你想抓某个新闻页面的网页文字标题和正文，代码长这样：

import requests from bs4 import BeautifulSoup url = 'https://example.com/news/123' response = requests.get(url) response.encoding = 'utf-8' soup = BeautifulSoup(response.text,网页文字 'html.parser') title = soup.find('h1').get_text() content = soup.find('div', class_='article-body').get_text() print(title) print(content) 

就这么简单。requests负责把网页整个搬下来，网页文字像一个快递员，网页文字不管包裹里装的网页文字是广告、导航栏还是网页文字正文，统统塞给你。网页文字BeautifulSoup则是网页文字个拆包裹的，你告诉它“我要h1标签里的字”，它就帮你剥掉HTML标签，只留下干净的文字。

但现实往往没那么温柔。我去年帮朋友爬一个地方新闻站，第一次跑就报错——网站返回了403。这是因为有些服务器会检查请求头，识别出你不是真人浏览器。解决办法是伪装一下：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'} response = requests.get(url, headers=headers) 

加了这行，服务器就当你是个普通访客了。还有更刁钻的网站，正文不在HTML里，而是通过JavaScript动态加载。你直接requests拿到的源码里根本没有那些文字，只有一堆空壳标签。这时候得换工具，用Selenium模拟浏览器操作，或者找到网站背后的API接口直接请求数据。后者更快，但需要你打开浏览器开发者工具，在Network面板里翻找真正的数据请求地址。

抠出来的文字往往很脏。页面上“上一篇”“下一篇”“相关推荐”这些噪音会混进来。我的习惯是拿到文本后，先按空格和换行切分，再用正则表达式过滤掉长度小于5的碎片，最后用join拼回去。粗糙但有效。如果页面结构规整，直接定位到<article>标签内部再提取，效果更好。

还有编码问题，这个坑我踩过好几次。有些老网站用GBK编码，你直接用utf-8解码会得到一堆乱码。处理方式很简单：

response.encoding = response.apparent_encoding 

让requests自己猜编码格式，比手动指定靠谱得多。

爬虫写起来快，但别高兴太早。真正花时间的是调试——定位不对、标签嵌套层级深、动态加载延迟，每个问题都能让你折腾半小时。我的建议是，先打印出soup的前500个字符看看结构，确认你找的标签确实存在，再写提取逻辑。别一上来就写完整代码，分步验证才是正路。

最后提醒一句，爬下来的文字别乱用。个人学习、做数据分析没问题，但要是拿去商用或者大量转载，可能涉及版权问题。我见过有人因为批量抓取他人网站内容被发律师函的，得不偿失。

工具就这些，思路也摆在这了。剩下的，就是找个目标网站，打开编辑器，边试错边调整。写代码这事，动手比看文章有用十倍。