爬虫需要掌握的知识

写爬虫最核心的爬虫能力不是写代码，是需掌搞清楚数据从哪来、长什么样。知识我见过太多人上来就打开编辑器，爬虫噼里啪啦写一堆 requests 加 BeautifulSoup，需掌跑起来返回一堆乱码或者空列表，知识然后开始怀疑人生。爬虫其实问题出在前面：你根本没看清楚目标页面到底怎么加载数据的需掌。

打开浏览器开发者工具，知识切到 Network 面板，爬虫刷新页面。需掌这一步比写代码重要十倍。知识看什么？爬虫看 XHR 和 Fetch 请求。很多现代网站的需掌数据根本不在 HTML 里，是知识 JavaScript 异步拉取的。你拿 requests 去请求页面源码，里面只有一堆 <script> 标签和一个空的 <div id="app">。数据在哪？在某个 API 接口的 JSON 响应里。找到那个接口，直接请求它，比解析 HTML 省事得多。

HTTP 协议的基本功得过关。状态码 200、301、403、404、429、500 分别意味着什么，得心里有数。请求头里的 User-Agent、Referer、Cookie 什么时候需要带，不带会怎样，这些不是靠猜的。我习惯先用 curl 命令手动试一次，确认能拿到数据，再把请求翻译成代码。curl 能跑通，代码基本不会出大问题。

HTML 解析这块，BeautifulSoup 和 lxml 是标配。CSS 选择器比 XPath 更直观，但 XPath 在某些复杂结构下更灵活。实际干活的时候，我经常两个混着用。遇到动态渲染的页面，Selenium 或者 Playwright 该上就上。别觉得用浏览器自动化丢人，能稳定拿到数据就是好方案。Playwright 比 Selenium 快不少，API 也更现代，新项目我基本都用它。

反爬是绕不开的坎。频率限制最常见，解决方案简单粗暴：加延时。time.sleep(random.uniform(1, 3)) 这种写法虽然土，但有效。IP 被封了就上代理池，免费代理基本不能用，别浪费时间。付费代理找靠谱的服务商，按量计费那种，成本可控。验证码是另一个层级的问题，简单的图形验证码可以用 OCR 库试试，复杂的滑动验证码或者行为验证，要么打码平台，要么直接放弃这个目标。

数据存储看需求。小规模直接写 CSV 或 JSON 文件，方便后续处理。数据量大、需要查询就用数据库。MySQL 和 PostgreSQL 都行，MongoDB 适合结构不固定的数据。我个人的习惯是，先存原始数据到文件，清洗后再入库。这样万一解析逻辑有问题，不用重新爬一遍。

并发和分布式是进阶话题。单机跑得慢，可以用 concurrent.futures 或者 asyncio 做并发。但别一上来就搞 Scrapy-Redis 分布式，大部分场景单机加多线程就够了。并发数不是越高越好，太高了目标服务器扛不住，你的 IP 也容易被封。我一般控制在 5 到 10 个并发，稳字当头。

最后说个容易被忽略的点：robots.txt。虽然它没有法律强制力，但遵守它是个好习惯。爬之前看一眼，哪些目录不允许爬，心里有数。商业项目尤其要注意合规问题，别为了拿数据把自己搭进去。技术本身中立，但用技术的人得有点分寸。