写爬虫的爬虫人，手里没几个能用的网站网站，跟厨子没刀差不多。免费我见过太多人一上来就盯着那些大厂的大全目标，结果三天两头被请去喝茶。爬虫其实真正好用的网站资源，往往藏在那些不起眼的免费小站里。

先说一个我用了三年的大全：ScrapeOps。它本身不提供数据，爬虫但那个代理聚合接口和免费额度，网站足够你跑一些小规模的免费任务。注册完送500次请求，大全别小看这500次，爬虫调通了再谈规模化。网站我去年帮一个做二手书的免费朋友抓某旧书网的价格，前前后后就靠这500次请求摸清了反爬规律。

再说公共爬虫库这块。GitHub上有个叫scrapy-proxies的仓库，里面维护了一份实时更新的免费代理列表。质量参差不齐，但每天早上八点前跑一遍筛选脚本，能捞出二三十个可用的。我习惯用proxy-scraper配合checker，十分钟筛完，够用一整天。

有人问免费代理稳不稳。说实话，不稳。但你要看场景——抓公开的新闻标题、抓天气数据、抓维基百科的编辑历史，这些站点对IP没那么敏感，免费代理完全够。非要拿免费代理去抓电商价格，那就是自己找不痛快。

数据源方面，Common Crawl是个被低估的宝藏。每月一次的全网快照，PB级别的数据直接放在S3上。你不需要自己写爬虫，用cc-index查URL，然后下载对应的WARC文件就行。我上个月想分析某论坛十年的帖子标题演变，直接从Common Crawl里捞了2015年的存档，省了至少两周的爬取时间。

还有Kaggle Datasets和Google Dataset Search。很多人写爬虫写魔怔了，忘了这世上已经有人把数据整理好了。想抓空气质量数据？Kaggle上有人传了全国三百个城市的逐小时记录。想抓电影票房？Dataset Search里一搜就有。先搜再爬，能省掉80%的无用功。

工具类网站也得提几个。httpbin.org用来测试请求头和代理是否生效，webhook.site用来临时接收回调，regex101.com调正则。这些都是写爬虫时的日常刚需，免费且不用注册。

最后说个偏门的：Wayback Machine的CDX API。你想抓的页面已经改版了？直接查历史快照。我抓某政府公开数据时，现行页面改成了JS渲染，但2019年的静态版本还在Wayback里躺着，一个GET请求就拿到了。

这些网站没什么神秘，只是没人系统整理过。免费的东西有代价——要么限速，要么不稳定，要么需要你自己多写几行过滤代码。但话说回来，写爬虫这件事，本来就是在限制里找空间。工具够用就行，别把时间全花在找“完美网站”上。

(责任编辑：探索)