2024年，用爬页信一个叫“某书”的虫爬爬虫项目在GitHub上被开发者疯狂转载。它能把小红书上带“种草”标签的取网笔记连图带文扒下来，打包成Excel。息否项目作者在README里写了一句：“仅供学习交流，合法请勿用于商业用途。用爬页信”评论区里，虫爬有人叫好，取网有人直接开骂：“这不就是息否偷吗？”

这事挺有意思。爬虫这东西，合法本质上就是用爬页信个自动访问网页的程序，跟浏览器干的虫爬活没啥区别。你打开网页，取网浏览器也在“爬”——只不过它爬完就显示给你看，息否爬虫爬完是合法存下来自己用。法律上，目前没有哪条法律说“爬虫本身违法”。真正违法的，是你爬完拿它干了什么。

我认识一个做市场调研的朋友，他常年爬电商平台的公开价格数据，用来给客户做竞品分析。他说自己只爬那些不需要登录就能看到的页面，而且控制频率，绝不把人家服务器搞崩。这活儿他干了五年，从没收到过律师函。另一个案例就没这么幸运了——某数据公司专门爬取招聘网站的简历信息，然后打包卖给猎头。结果被告上法庭，判赔了几百万。同样是爬虫，前者没事，后者栽了，差别在哪？

差别就在“公开信息”和“个人信息”的边界上。像商品价格、新闻标题这类公开数据，本身就躺在互联网上等着被任何人浏览，爬下来做分析，跟你看完记在脑子里没什么本质区别。但简历、手机号、家庭住址这类个人信息，法律有专门保护。就算用户自己填了公开挂出来，你批量抓取再转卖，也踩了《个人信息保护法》的红线。更别提那些需要登录才能看的内容——你绕过登录验证去抓，直接构成“非法获取计算机信息系统数据”。

还有个灰色地带特别容易让人栽跟头：robots协议。这玩意儿不是法律，是网站自己写的“爬虫须知”。有些网站明确写了“禁止爬取”，但你没看就爬了。严格说这不违法，可一旦对方起诉，法院很可能会参考这个协议来判断你有没有“恶意”。2021年有个判例，某搜索引擎因为无视robots协议抓取另一家平台的数据，被认定为不正当竞争，罚了2000万。

说白了，爬虫合法与否，核心就看三点：你爬的是不是公开数据？你有没有绕过技术屏障？你拿数据干了什么？如果三个答案分别是“是”“没有”“只是做分析”，那基本安全。但凡有一个答案变成“否”，风险就来了。我见过太多人，技术能力没问题，却栽在“我以为这数据能用”上。

回到那个小红书爬虫项目。它爬的是公开笔记，没绕过登录，作者也声明了非商用。但评论区有人问：“我爬下来训练自己的AI模型，算不算商用？”底下没人能给出准确答案——因为这条线，连法院都还在画。你唯一能做的，就是爬之前多问自己一句：如果对方律师看到我的代码，会不会觉得我是个贼？