网页采集器采集数据

写个爬虫去抓别人网站的网页数据，第一件事不是采集敲代码，是器采打开浏览器按F12。我见过太多人上来就写requests.get()，集数据结果抓回来一堆乱码或者空壳页面——因为数据根本不在HTML里，网页全是采集JavaScript渲染出来的。这时候你得去看Network面板，器采找那个真正返回数据的集数据XHR请求。上周帮朋友抓一个电商评论，网页页面源码里只有

，采集但Network里有个/api/comments?器采page=1的接口，返回干净的集数据JSON。直接请求那个接口，网页效率翻十倍。采集

找到数据源之后，器采别急着批量跑。先拿一条URL做实验，把请求头补全。User-Agent是最基本的，有些网站还检查Referer和Cookie。我习惯用curl复制浏览器请求，粘到Postman里测试，确认能拿到200响应再写代码。有个坑：很多网站对频率敏感，你连续请求十次可能就被封IP。加个time.sleep(random.uniform(1,3))，比事后换代理省事得多。

解析环节看数据格式。JSON直接用response.json()，字典取值就行。HTML的话，BeautifulSoup比正则稳，但lxml的XPath在某些嵌套结构里更顺手。举个实际例子：抓某招聘网站的职位列表，每个职位卡片有标题、薪资、公司名。用CSS选择器soup.select('.job-card')拿到所有卡片，再循环提取.job-title的文本。注意有些字段是懒加载的，滚动页面才出现——这种就得分析滚动触发的接口，或者用Selenium模拟滚动，但Selenium慢，能不用就不用。

数据存哪儿？小规模直接写CSV，pandas的to_csv()一行搞定。要更新和维护，上SQLite，轻量又不用装服务。我自己的习惯是：抓取阶段先存原始JSON到本地文件，解析阶段再读文件处理。这样调试解析逻辑时不用反复请求网站，对双方都好。

反爬是绕不开的。除了频率控制，有些网站会检测Accept-Language、Sec-Fetch-*这些头。最麻烦的是Cloudflare的五秒盾，普通请求直接返回403。遇到这种，要么用cloudscraper库碰运气，要么上Playwright加stealth插件。但说实话，如果目标网站反爬太狠，不如想想有没有替代数据源——比如移动端API往往比网页端宽松，或者用搜索引擎的缓存页面。

最后说个容易忽略的点：robots.txt。虽然它没有法律强制力，但大规模抓取前看一眼是基本礼貌。有些网站明确禁止抓取特定路径，你硬来可能收到律师函。我一般只抓公开的、非个人隐私的数据，而且控制并发数，别把人家服务器搞崩。抓完的数据自己分析用没问题，直接转卖或者全文转载，那是另一回事了。

代码写完了跑一遍，检查字段有没有缺失、编码是不是UTF-8、时间格式对不对。我习惯用df.info()和df.head()快速扫一眼。有时候网站返回的“空值”是字符串"null"或者"-"，得手动替换成None。这些细节不处理，后面分析全是坑。