js爬虫抓网页数据，爬虫说白了就是网页用JavaScript写一段自动访问网页、提取信息的数据代码。这事没你想的爬虫那么玄乎，但也没那么简单。网页

我上周刚用Node.js写了个小脚本，数据抓一个电商网站的爬虫商品价格。代码核心就三步：发请求拿HTML，网页解析DOM结构，数据把想要的爬虫数据存下来。axios负责发请求，网页cheerio负责解析，数据这两个库加起来不到50行代码就能跑通一个基础版。爬虫

先看发请求这一步。网页很多人栽在反爬机制上，数据尤其是那些大站。你直接发个请求过去，对方返回的可能是一段验证码页面，或者干脆给你个403。这时候得伪装请求头，把User-Agent改成浏览器的样子，再带上Cookie。我试过最狠的网站，连TLS指纹都检测，Node.js默认的加密库过不去，得用puppeteer模拟真实浏览器才行。

解析阶段倒是相对温和。cheerio的语法跟jQuery几乎一样，`$('.price').text()`就能拿到价格文本。但有个坑——现在好多网站都是前端渲染的，HTML源码里根本没有你要的数据，得等JavaScript执行完才出现。这时候就得用puppeteer这种无头浏览器，它真的会打开一个浏览器窗口去加载页面，等渲染完了再抓取。代价是慢，一个页面可能要多花两三秒。

数据存哪里也值得琢磨。小批量就存JSON文件，几十万条就得用数据库了。我习惯用better-sqlite3，轻量又不用单独起服务。不过你要是想实时监控价格变化，那得考虑增量更新策略，别每次都全量抓一遍，既慢又容易被封IP。

写爬虫最烦的不是代码本身，是对方网站改版。上个月还能用的选择器，下个月就失效了。我有个朋友专门做电商数据分析，他说他们公司有个岗位叫“爬虫维护工程师”，每天的工作就是修选择器，因为各大平台隔三差五就调整页面结构。这活计真不是一劳永逸的。

还有个容易被忽略的点——robots协议。虽然它不是法律强制，但遵守它能让你的IP活得更久。有些网站明确写了禁止爬取某些路径，你真要去碰，对方反爬系统会重点关照你。我的经验是，先看一眼robots.txt，能避开就避开，实在要抓就用低频率、分布式IP的方式慢慢来。

最后说下性能。单线程跑太慢，我试过用Promise.all并发请求，同一个IP同时发几十个请求，结果被封了半小时。后来改成每次最多5个并发，间隔随机延迟1-3秒，反而稳定得多。记住一个原则：爬虫的本质是模拟人类行为，你越像人，越不容易被识别。

真要入门，别急着写复杂逻辑。先拿个静态网站练手，比如抓豆瓣电影TOP250的标题和评分，这个网站基本不设防。跑通了再挑战动态渲染的页面，最后才碰那些有登录验证的。循序渐进，比看十篇教程都管用。

(责任编辑：知识)