python爬虫教程

我见过太多人学爬虫，爬虫第一步就跪在安装库上。教程他们打开终端，爬虫敲下pip install requests，教程然后盯着满屏的爬虫红色报错发呆。其实这事没那么玄乎——你只需要一个能跑Python的教程环境，加上两个库：requests用来抓网页，爬虫BeautifulSoup用来解析HTML。教程就这些，爬虫够你应付八成需求了。教程

拿我上周写的爬虫一个小脚本举例。我想抓某个电商网站的教程商品价格，代码核心就十几行。爬虫先让requests假装成浏览器去访问页面，教程带上User-Agent头信息——很多网站会拦截裸奔的爬虫爬虫，但不会拦一个“看起来像Chrome”的请求。然后拿返回的HTML喂给BeautifulSoup，用soup.find('span', class_='price')这种语法定位元素。整个过程像用镊子从汤里挑出香菜，精准但需要知道香菜长什么样。

真正的坑不在写代码，而在“你根本不知道目标网页长什么样”。我建议你第一次写爬虫时，先别急着写代码。用浏览器打开目标网站，右键点击你感兴趣的内容，选“检查”，看HTML结构。你会发现价格可能嵌套在五层div里，或者商品名称被拆成了三个span标签。这时候你才明白，爬虫的80%时间都花在“看懂别人的HTML”上，剩下20%才是写代码。别嫌烦，这是所有爬虫工程师的日常。

有个细节新手常忽略：网页可能是动态加载的。你按F12看到的HTML里没有价格，但页面上明明显示了。那是因为数据是通过JavaScript异步请求拿到的，直接抓静态HTML只能得到空壳。这时候你有两个选择：要么用Selenium这种工具模拟真实浏览器操作，要么直接找网站背后的API接口——按F12切到Network面板，刷新页面，看哪个XHR请求返回了JSON数据。后者往往更轻快，但需要你有点网络基础知识。我倾向前者，因为Selenium还能处理登录、点击翻页这些复杂交互，虽然它启动慢得像老牛拉破车。

写爬虫最爽的瞬间是什么？是你把代码跑起来，看着终端里一行行打印出你要的数据，那一刻感觉像黑客入侵了银行系统——虽然实际上你只是在抓一个公开的天气数据。但别得意太久，服务器可不喜欢被高频访问。我吃过这个亏，有次循环里没加time.sleep(1)，三分钟后IP就被封了。后来我学乖了，每请求一次就歇0.5到1秒，偶尔换换代理IP。别把人家服务器搞崩，大家都不容易。

还有编码问题，够你头疼一阵。有的网站是GBK编码，有的用UTF-8，还有的页面里混着乱码。处理方法很简单：拿到response后先看response.encoding，不对就手动设成response.encoding = 'utf-8'，再不行就试试response.apparent_encoding。我有个土办法：抓下来的文本如果出现“锟斤拷”三个字，十有八九是编码搞错了。这时候别慌，按上面步骤调一遍就好。

存储数据也是个学问。小规模数据直接存CSV，用Excel就能打开。数据量大了换SQLite，一个文件搞定，不用装数据库服务器。我习惯把抓下来的原始HTML也存一份，方便以后重新解析——万一你哪天发现字段提取错了，还能从原始文件里补救，不用重新爬一遍。

最后说句掏心窝的话：爬虫这技能，光看教程学不会，必须踩坑。我第一次写爬虫时，光调一个Cookie参数就花了三个小时，最后发现是少了个下划线。但正是这些坑让你记住每个细节。你可能会遇到验证码、IP封锁、JS加密，甚至网站故意埋的假数据。别灰心，这些都是进阶路上的经验包。去爬个豆瓣电影Top250，或者抓个招聘网站的职位信息，练练手。等你成功跑通第一个脚本，那种成就感比打游戏赢一局爽多了。