用Go写爬虫，爬虫最舒服的爬虫一点是并发模型天然贴合抓取任务。标准库net/http加goquery，爬虫几十行代码就能跑起来一个能用的爬虫采集器。我去年抓一个电商比价数据，爬虫单机开了200个goroutine，爬虫配合sync.WaitGroup控制生命周期，爬虫十分钟拿下了八万条商品记录。爬虫换成Python得折腾asyncio或者多进程，爬虫Go这边一个go关键字就完事。爬虫

先看个最小可运行版本。爬虫目标是爬虫把某新闻站首页所有标题抓下来：

package main import ( "fmt" "log" "net/http" "github.com/PuerkitoBio/goquery" ) func main() {  resp, err := http.Get("https://example.com/news") if err != nil {  log.Fatal(err) } defer resp.Body.Close() doc, err := goquery.NewDocumentFromReader(resp.Body) if err != nil {  log.Fatal(err) } doc.Find("h2.title").Each(func(i int, s *goquery.Selection) {  fmt.Println(s.Text()) }) }

这段代码没什么花哨的。关键在于goquery把jQuery那套选择器语法搬过来了，爬虫写CSS选择器比正则舒服太多。爬虫遇到动态渲染的爬虫页面，比如Vue或React站点，这套就不管用了，得换chromedp驱动真实浏览器。我试过用chromedp抓某招聘网站的职位列表，启动开销大，单页面大概多花300毫秒，但能拿到完整DOM。

并发控制是绕不开的。直接go出去不加限制，目标站点的WAF三秒内就会封IP。我习惯用带缓冲的channel做信号量：

sem := make(chan struct{ }, 50) for _, url := range urls {  sem <- struct{ }{ } go func(u string) {  defer func() {  <-sem }() fetch(u) }(url) }

50是并发上限，具体数字看目标站承受能力和自己带宽。曾经有个教训：抓某政府公开数据，并发开到100，结果对方服务器直接返回503，后来降到10才稳定。限速这事没有万能值，得试探。

反爬方面，Go的http.Client可以精细控制。设置Timeout、Transport里的MaxIdleConnsPerHost，还有自定义CookieJar。User-Agent轮换很简单，维护一个字符串切片随机取就行。遇到Cloudflare的5秒盾，纯HTTP客户端基本没戏，要么上chromedp，要么找第三方打码服务。我一般先curl看响应头，如果返回cf-mitigated: challenge，直接放弃纯HTTP方案。

数据解析完存哪？小规模直接写CSV，标准库encoding/csv够用。上百万条就换SQLite，mattn/go-sqlite3驱动，批量插入时记得开事务，性能差十倍。有个细节：Go的database/sql默认每次Exec都是独立事务，批量插入必须显式Begin再Commit，否则慢得让人怀疑人生。

最后说个容易踩的坑。Go的http.Get默认不跟随重定向超过10次，也不处理gzip解压——Transport其实自动处理了，但如果你手动设置了DisableCompression: true，就得自己解压。还有字符编码，遇到GBK页面，goquery会乱码，得先用golang.org/x/text/encoding/simplifiedchinese转成UTF-8再喂给解析器。

爬虫写多了会发现，代码本身不难，难的是跟目标站点的反爬策略持续博弈。Go的优势在于部署简单——编译成单个二进制文件，扔到服务器上就能跑，不用装运行时。这点比Python省心太多。

(责任编辑：知识)