怎么爬虫

写爬虫最直接的爬虫办法，就是爬虫打开浏览器的开发者工具，看网页请求了什么，爬虫然后照着发一遍。爬虫别想得太复杂，爬虫本质就这么回事。爬虫

我刚开始接触爬虫那会儿，爬虫觉得这东西特别神秘。爬虫后来发现，爬虫浏览器按F12打开Network面板，爬虫刷新页面，爬虫那一堆请求列表就是爬虫答案。你看到网页上的爬虫文字、图片、爬虫价格，爬虫全都是浏览器替你发请求拿回来的。爬虫干的事，无非是把浏览器手动做的事变成代码自动做。

先搞清楚你要什么

打开目标网页，找到你想抓的数据在哪个位置。比如某本书的标题在HTML里长这样：<h1 class="book-title">三体</h1>。你要做的就是拿到这个h1标签里的文本。Python里用requests发请求拿到HTML，再用BeautifulSoup或者lxml解析，几行代码就能提取出来。

import requests from bs4 import BeautifulSoup resp = requests.get("https://example.com/book/1") soup = BeautifulSoup(resp.text, "html.parser") title = soup.find("h1", class_="book-title").text print(title)

就这么简单。当然，实际网站不会这么配合你。

麻烦的地方在哪

第一个坑是动态加载。你右键查看网页源代码，发现根本没有你要的数据——因为它是JavaScript渲染出来的。requests拿到的只是初始HTML，里面没有内容。这时候要么找到背后的API接口直接请求JSON，要么上Selenium、Playwright这类工具模拟浏览器执行JS。我一般优先找API，速度快、数据干净，实在找不到才用浏览器自动化。

第二个坑是反爬。请求太频繁，IP被封；请求头不对，返回403；Cookie缺失，跳转到登录页。应对方式无非几种：加User-Agent伪装、控制请求频率、用代理池换IP、维护Cookie会话。有些网站还会检测浏览器指纹，那就得上更重的工具了。

第三个坑是页面结构变化。今天能跑的代码，下周可能就报错，因为对方改了class名或者调整了DOM结构。所以爬虫代码要写得稍微健壮一点，别把选择器写得太死。

法律和分寸

爬公开数据、控制频率、不造成服务器压力，这基本是底线。但有些网站明确在robots.txt里禁止抓取，有些数据涉及个人隐私或商业机密，这些就别碰。我见过有人爬某平台用户信息被起诉的案例，不是闹着玩的。技术本身中立，用在哪、怎么用，自己得有个判断。

工具选择

小规模抓取，requests + BeautifulSoup够用了。数据量大、需要并发，上Scrapy框架。要处理JS渲染，Playwright比Selenium快不少。解析HTML，lxml比BeautifulSoup性能好，但后者容错性强，看情况选。别一上来就追求“最佳实践”，先跑通再说。

说到底，爬虫就是个工具。核心能力是看懂网页结构、分析请求过程、写出稳定的提取逻辑。剩下的都是经验积累——踩的坑多了，自然就知道怎么绕。