爬虫代理IP这事儿，爬虫说穿了就三步：找代理、代理配代理、使用换代理。爬虫但每一步都有坑，代理我踩过，使用你大概率也会踩。爬虫

先讲最核心的代理——别买便宜货。市面上那些9.9元一万个IP的使用套餐，十个里有九个是爬虫公共代理池。公共池啥概念？代理几百个爬虫共用同一批IP，你发一个请求，使用对面网站可能同时收到几十个同IP的爬虫访问，不封你封谁？代理我见过最离谱的一次，代理IP刚换上，使用发三个请求就被目标站秒封，日志里全是403。

正经做法是选按量计费的私密代理，或者干脆自己搭代理池。自己搭听着高端，其实就那点事：买几台便宜的云主机，装个squid或者tinyproxy，轮着用。成本一个月几十块，但胜在干净。不过这活儿需要点Linux基础，你要是只会Windows双击exe，那还是老实买服务商的API接口吧。

拿到代理IP后，配置倒是简单。requests库直接proxies参数塞进去，格式长这样：{ "http": "http://user:pass@ip:port"}。要是用scrapy，就在middleware里写个类，把代理挂到request.meta上。这里有个细节容易翻车——有些代理是区分http和https的，你配了http的，访问https站点照样走本地IP，等于白配。得两个都写上。

配好之后，真正考验人的是换IP的节奏。新手最爱犯的毛病是每个请求都换新IP，觉得这样最安全。实际上，高频换IP反而触发反爬——正常用户谁会每秒换一个IP？更合理的策略是：同一IP连续用20到30个请求，或者持续5分钟，然后才换。这跟人浏览网页的节奏差不多，不容易被盯上。我自己的习惯是随机在18到35个请求之间挑个数，到了就换，带点随机性。

还有个容易忽略的点：代理IP的响应速度。你花大价钱买了高匿代理，结果延迟200毫秒，爬个千页的站得等到天荒地老。买代理之前，先拿curl测一下目标站点的连通性，curl -x http://代理IP:端口 -I https://目标站，看返回时间。超过800毫秒的直接pass，再便宜也别要。

最后说个真实案例。之前爬某电商平台的商品价格，用普通代理，结果每次爬到第300页左右就被封。后来发现是cookie的问题——代理IP换了，cookie没跟着换，服务端一比对就识别出异常。解决方法是每次换IP时，同时清掉session的cookie，重新握手。改完这个细节，一口气爬了5000页，再没被封过。

代理IP这东西，本质上就是跟反爬玩猫鼠游戏。别指望一劳永逸，多观察日志，多调整策略，比啥都强。要是你连日志都不看，封了只知道换IP，那永远都在原地打转。

(责任编辑：探索)