爬虫技术抓取网站数据python代码

凌晨两点，爬虫我盯着终端里滚动的技术状态码。目标站点换了反爬策略——原本温顺的网站requests请求突然全部返回403。这已经是数据本周第三次了。说实话，代码那一刻真想砸键盘。爬虫但冷静下来后，技术我换上了无头浏览器，网站模拟真实用户的数据鼠标轨迹，又调整了请求头里的代码User-Agent和Accept-Language。两分钟后，爬虫数据重新开始流动。技术

爬虫最迷人的网站地方就在于这种博弈。你写下的数据每一行代码，本质上都是代码在和对方的工程师下棋。他们设下验证码、IP封锁、JS渲染障碍，你就得想办法绕过去。这不是什么光彩的战争，但确实让人上瘾。

拿最基础的静态页面来说，一个简单的抓取脚本只需要十几行。用requests库发送GET请求，再用BeautifulSoup解析HTML结构。比如抓取某个新闻网站的标题列表，核心逻辑就三步：构造URL、发送请求、提取节点。

import requests from bs4 import BeautifulSoup url = "https://example-news.com" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"} resp = requests.get(url, headers=headers, timeout=10) soup = BeautifulSoup(resp.text, "html.parser") for item in soup.select(".news-title"): print(item.get_text(strip=True)) 

这段代码能跑通的前提是对方没做太多防护。可现实往往更复杂。有些网站把数据藏在Ajax接口里，你直接抓HTML只能拿到空壳。这时候就得打开浏览器的开发者工具，在Network面板里找真实的XHR请求。我见过不少新手卡在这一步，其实诀窍很简单——搜索关键词，比如"list"、"data"、"api"，很快就能定位到真正的数据源。

动态渲染页面是另一个坎。像用Vue或React写的SPA应用，服务端返回的HTML里根本没有内容，所有数据都得靠浏览器执行JavaScript才能加载。这时候Selenium或Playwright就派上用场了。它们能驱动真实的浏览器内核，虽然慢，但稳。我习惯用Playwright，因为它自带自动等待机制，不用像Selenium那样手动sleep。

from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto("https://example-spa.com/list") page.wait_for_selector(".item") items = page.query_selector_all(".item") for el in items: print(el.inner_text()) browser.close() 

抓下来的数据还得清洗。HTML标签里藏着大量空白符、换行符和隐藏字符。用正则表达式或者lxml的text_content()方法都能搞定。但别指望一次清洗就能完美，真实世界的数据脏得超乎想象。我遇到过编码混乱的乱码文本，也见过混在价格字段里的货币符号和逗号——清洗逻辑往往要反复迭代好几轮。

法律风险是绕不开的话题。Robots协议虽然不具法律强制力，但某些数据确实受版权保护。我个人只抓公开信息，而且控制请求频率，不给对方服务器造成压力。爬虫技术本身是中性的，关键看怎么用。写代码前先想想，这些数据拿来做什么，会不会伤害到别人。

最后说句实在话，爬虫入门容易精通难。真正考验人的不是写代码，而是调试和应变能力。当你面对一个突然改变结构的页面，能快速定位变化点并调整策略，那才算真的入了门。别怕报错，每个异常都是学习的机会。去试试吧，从最简单的页面开始，你会慢慢摸到门道的。