你打开浏览器，网络输入一个网址，爬虫看到满屏的本流商品列表、新闻标题或者招聘信息。网络这些内容不会自己跑到你电脑里。爬虫网络爬虫干的本流事，就是网络替你把“看网页”这个动作自动化——它模拟浏览器发送请求，拿回HTML代码，爬虫再把需要的本流数据抠出来。整个过程听起来不复杂，网络但每一步都有坑。爬虫

先说说请求。本流爬虫要做的网络第一件事是向目标服务器发一个HTTP请求。你可以用Python的爬虫requests库，一行requests.get(url)就能拿到响应。本流但服务器不傻，它看你的User-Agent头。如果写的是python-requests/2.28，很多网站直接返回403。我试过爬一个本地论坛，忘了改UA，连续被拒了二十次，后来加上Chrome的UA字符串才通。还有更狠的，像某些电商平台，会检查cookies、Referer，甚至用JavaScript动态生成token。这时候光靠requests就不够了，得上Selenium或者Playwright，让真实浏览器内核去跑。

拿到响应之后，别急着解析。先看状态码。200是正常，301/302要跟重定向，403是拒绝，429是请求太频繁。我见过一个新手写的爬虫，没判断状态码，结果把404页面的“页面不存在”当商品标题存进了数据库。正确做法是response.raise_for_status()，遇到异常直接抛出来。另外，有些网站返回的是gzip压缩内容，requests会自动解压，但如果你用urllib，得自己处理Content-Encoding头。

解析环节，主流方案是BeautifulSoup和lxml。BeautifulSoup容错性好，写起来像说话：soup.find('div', class_='price').text。lxml快，但遇到不规范的HTML会直接报错。我个人的习惯是：结构规整的页面用lxml，乱七八糟的老网站用BeautifulSoup。还有一个坑是动态渲染——你拿到HTML里根本没有数据，因为数据是JavaScript加载的。这时候要么抓XHR请求（打开开发者工具，看Network里的Fetch/XHR），要么用无头浏览器。抓XHR往往更高效，但接口可能带加密参数，比如某短视频平台的_signature，那就得逆向JS，不是新手能搞定的。

数据提取出来之后，得存。存CSV最简单，但字段里有逗号或换行就会乱。存JSON灵活，但文件大了不好查。我一般用SQLite，轻量，支持SQL查询。比如爬了五千条二手房信息，想找“总价低于200万且朝南”的，一句SELECT就出来了。注意编码问题——Windows下默认GBK，写文件时记得指定encoding='utf-8'，否则中文变乱码。还有，爬到的价格字符串“¥1,234.56”要转成浮点数，得先去掉货币符号和逗号，这种清洗步骤别偷懒。

最后说反爬。最基础的是限速，别一秒钟发一百个请求。time.sleep(1)是礼貌，也是自保。进阶一点用代理IP池，但免费代理大多不能用，付费的也要测试。还有验证码，简单的数字字母可以用OCR，复杂的滑动验证码就得接打码平台。我见过一个爬虫项目，因为没处理验证码，连续触发风控，最后IP被整个C段封了。所以，爬之前先看robots.txt，虽然它没有法律强制力，但至少知道哪些路径被禁止。更关键的是，别爬个人隐私数据，别把人家服务器搞崩——技术本身没错，用错了地方就是另一回事了。

整个流程走下来，你会发现最花时间的不是写代码，而是调试。请求头不对、解析规则写错、编码搞混、反爬策略变化……每一个环节都可能卡住你。但一旦跑通，看着数据一行行落进数据库，那种感觉，比刷短视频踏实多了。

(责任编辑：百科)