爬网页数据这事儿，何爬说破大天就三步：找到数据藏在哪，取网发请求把它拿下来，页数再解析成你要的何爬格式。听起来简单，取网但真上手，页数坑比想象中的何爬多。

我第一回爬数据，取网是页数想抓一个论坛的帖子标题。打开网页，何爬右键“查看源代码”，取网满屏的页数HTML标签看得我眼晕。后来才知道，何爬很多网站的取网数据根本不在源代码里，而是页数藏在XHR请求里。你怎么发现的？按F12打开开发者工具，切到Network面板，刷新页面，看那些后缀是.php、.json或者带一串参数的请求——那才是真正的数据源。我盯了半小时，才发现那个叫get_list.php的接口，传个page参数就返回JSON。那一刻的感觉，就像撬开保险柜发现里面有个抽屉，抽屉里还有把钥匙。

拿到接口URL，下一步就是模拟请求。Python的requests库是首选，十来行代码就能搞定。但别急着写循环，先检查网站的robots.txt，这玩意儿是网站明晃晃的规矩，写着哪些路径不让爬。有人觉得这无所谓，可一旦被对方服务器记下IP，轻则封你几分钟，重则直接拉黑。我吃过亏——当时图省事，没设请求间隔，一口气抓了五千页，结果第二天整个IP段都被封了，连正常浏览都受影响。那会儿才明白，爬虫的本质是“礼貌地敲门”，不是“破门而入”。

请求发出去，返回的可能是HTML，也可能是JSON。HTML就得用解析器，BeautifulSoup最顺手，CSS选择器一写，数据乖乖躺平。JSON更简单，json.loads之后直接当字典用。但真正的麻烦在“反爬”上。有些网站会检查User-Agent，你一个Python默认标识，人家一眼就识破，直接返回403。改个浏览器UA就行，可有的网站更精，看请求频率、看Cookie、看JS生成的动态token。这时候，Selenium这种模拟浏览器的工具就得上场了——它真的打开一个浏览器窗口，让网页以为是个活人在操作。代价是慢，一个页面要一两秒，但胜在稳妥。

数据拿到手，存储也得动脑子。小批量存CSV，Excel打开就能看；数据量上百万，CSV就吃力了，得转SQLite或者MySQL。我习惯先存成JSON，留个备份，再导入数据库，万一解析逻辑写错了，还能回头重来。这算我自己的土办法，但确实救过我好几回。

最后提醒一句——爬数据是手段，不是目的。我见过有人爬了电商价格做比价，结果商品图片全被防盗链挡住，白忙活。也有人爬新闻做舆情分析，但忘了正文里夹着广告，统计结果全乱了。动手前先想清楚：你要的数据，是不是真的在页面上？如果是，那它值不值得你花几个小时去写代码？如果值，那就上吧。剩下的，都是熟练工的事。