上周三下午，批量我盯着屏幕上一份包含237个网址的检测表格发愁。这些链接是网址同事从三个不同渠道收集来的竞品资料，手动点开验证？批量光想想手指就酸了。更别提有些网站打开慢得像蜗牛爬，检测等它加载完，网址我咖啡都凉了。批量

其实批量检测网址是检测否有效，核心就一句话：让程序替你去敲门，网址而不是批量自己挨个敲。但怎么敲、检测敲完怎么记录，网址这里面有讲究。批量

别用浏览器，检测用请求头

很多人第一反应是网址写个脚本模拟浏览器打开页面。这招能用，但太笨重。一个网页可能包含图片、CSS、JavaScript，浏览器得把这些全下载完才告诉你“页面正常”。你只想知道门牌号存不存在，没必要把屋里家具都搬出来看一遍。

发个HTTP HEAD请求就够了。HEAD和GET的区别在于，服务器只返回响应头，不返回页面内容。好比你去快递站查包裹，只问“有我的件吗”，不需要把包裹拆开看里面是什么。Python里用requests.head(url, timeout=5, allow_redirects=True)，一行代码搞定。超时设5秒，别等太久，有些死链会一直挂着不响应。

状态码不是唯一标准

200代表成功，404代表找不到，这谁都知道。但实际情况比这复杂。我遇到过返回403的页面——服务器拒绝访问，可你在浏览器里手动打开完全正常。原因可能是对方检测到请求头里没有User-Agent，把你当爬虫拦了。加个headers={ 'User-Agent': 'Mozilla/5.0'}就能骗过去。

还有301和302重定向。有些网址表面有效，实际跳转到了另一个完全无关的页面。比如你检测一个产品页，它自动跳转到首页，这算有效还是无效？我的判断标准是：如果最终落地页的域名和原始域名一致，算有效；跳到别的域名去了，标记为“可疑”。

并发是效率的关键

237个网址，一个一个检测，每个平均耗时2秒，总共要将近8分钟。用Python的concurrent.futures开20个线程同时跑，时间直接压到15秒以内。但别开太多线程，有些服务器会把你当DDoS攻击，直接封IP。20到50个线程是比较安全的范围。

我用的是ThreadPoolExecutor(max_workers=30)，配合as_completed按完成顺序取结果。这样哪个网址先返回就先记录，不用等全部跑完。代码写起来也不复杂，核心逻辑不到20行。

结果怎么存

别只打印到控制台，滚屏一多就找不到了。我的做法是输出一个CSV文件，三列：原始网址、状态码、最终跳转地址。状态码那列，200标绿，404标红，超时标黄。用pandas的to_csv直接写，Excel打开就能看。遇到超时的网址，单独再跑一次，有时候是网络抖动，第二次就通了。

有个细节：网址里带中文或空格的，先做URL编码再发请求，否则requests库会报错。用urllib.parse.quote处理一下，省得中途崩掉。

什么算“有效”

最后得说清楚判断标准。我的定义是：5秒内返回状态码小于400，且最终域名与原始域名一致，才算有效。返回401或403的，标记为“需人工确认”。超时或连接错误的，直接判无效。这套标准不一定适合所有人，但至少让我那237个网址里，筛出了31个死链和12个可疑跳转。

批量检测这事，工具选对了，几分钟就能干完。选不对，手动点到手抽筋。下次再有人甩给你一堆网址，别急着点，先写几行代码。

(责任编辑：百科)