批量检测url打开代码

批量检测URL，批量听起来是检测个挺枯燥的活儿，但干过的开代人都知道，这活儿要是批量纯靠手点，能点到你怀疑人生。检测我上个月接了个活儿，开代客户丢过来一份Excel，批量里面躺着两千多个链接，检测说是开代他们运营部门搜集的行业资源，让我帮忙筛一遍哪些还能打开，批量哪些已经成了死链。检测

我一开始也想过，开代写个脚本跑一遍不就完了？批量但问题来了——人家要的是“检测结果报告”，里面得标注每个URL的检测HTTP状态码、响应时间、开代最终跳转地址，最好还能截个图证明页面真的渲染出来了。光用脚本请求一下，有些网站有反爬，返回个403，但人家页面其实用浏览器打开是正常的。这种时候，你就得换个思路。

后来我用Python写了个小工具，核心逻辑就三步：读Excel里的URL列表，用requests库发请求，把状态码和耗时记下来。但跑了不到一百个就发现坑了——有些网站SSL证书过期，requests直接报错；有些网站响应超慢，默认的10秒超时根本不够；还有些域名解析失败，得单独catch异常。我把代码改成用线程池并发请求，一次开20个线程，速度才提上来。两千个链接，大概跑了十几分钟，比手动点快多了。

但光有状态码不够。有些链接返回200，可打开一看是“网站维护中”的提示页，或者跳转到某个垃圾广告站。这种“假活链”最坑人。我加了个小判断：抓取返回的HTML内容，搜几个关键词，比如“404”“Not Found”“域名已过期”，一旦命中就标记为“疑似失效”。虽然不完美，但至少能把大部分坑筛出来。

最后我把结果写进CSV，用Excel打开一看，两千多个链接里，真正完全正常的只有六成。剩下四成里，有一半是域名彻底不解析了，另一半是页面还在但内容已经清空。我把这个报告发给客户，对方还挺惊讶，说他们自己人之前手动抽查了几十个，感觉都挺正常的。这就是抽样和全量的区别——你永远不知道没点开的那部分藏着什么。

说回代码本身，其实真不难。核心就是requests.get(url, timeout=10, allow_redirects=True)，然后捕获各种异常。但真要拿去做批量检测，有几个细节得注意：一是设置合理的请求头，不然有些服务器直接拒了；二是控制并发数别太高，否则容易被封IP；三是做好重试机制，网络抖动是常态，一次失败不代表真死了。我代码里加了两次重试，每次间隔两秒，效果明显好了不少。

你要是也想自己写一个，别急着抄网上的现成脚本，先想清楚你要检测的URL是什么类型。是纯静态页面，还是需要登录才能访问的后台链接？前端渲染很重的单页应用，requests拿回来的HTML可能就是个空壳，那种就得用Selenium或Playwright模拟浏览器。我之前吃过这亏，拿requests检测一堆SPA站点，全返回200，但实际内容全靠JavaScript动态加载，工具根本测不出来。后来换成Playwright，虽然慢一些，但结果可靠多了。

工具这东西，永远得跟着实际场景走。别指望一个脚本通吃所有情况，批量检测URL这件事，水不深，但坑不少。能写代码解决的就别用手点，但写代码之前，先花十分钟想清楚你要测的是什么，比写一小时代码都管用。