深度学习这十年冒出来的深度算法算法，数量多到让人眼花。学习但真正撑起今天AI应用的深度算法，翻来覆去就那么几类。学习搞懂它们各自的深度算法脾气，比背一堆名字有用得多。学习

先说卷积神经网络（CNN）。深度算法这东西是学习为图像而生的。1989年Yann LeCun用它识别手写邮编，深度算法后来2012年AlexNet在ImageNet竞赛里把错误率从26%砸到15%，学习整个领域才炸了。深度算法CNN的学习核心思路很朴素：用一个滑动的小窗口（卷积核）扫过整张图，提取局部特征——边缘、深度算法纹理、学习形状，深度算法一层层往上抽象。它有个关键假设叫“平移不变性”，猫在图片左上角还是右下角，对CNN来说都一样。这个假设对图像成立，对很多其他数据就不成立了。

循环神经网络（RNN）走的是另一条路。它处理的是序列——语音、文本、时间序列。RNN的隐藏状态像一个记忆槽，每一步把新输入和旧记忆揉在一起。想法挺好，实际用起来有个致命问题：梯度消失。序列一长，早期的信息传不到后面。1997年Hochreiter和Schmidhuber提出LSTM，加了三个门（输入门、遗忘门、输出门）来控制信息流，才算把这个问题按住。那些年做机器翻译、语音识别，LSTM几乎是标配。但LSTM也有自己的麻烦——它还是得一步步算，没法并行。

2017年Google发了一篇《Attention Is All You Need》，直接把RNN的 sequential 结构扔了，提出Transformer。核心机制叫自注意力（self-attention）：序列里每个位置都能直接“看到”其他所有位置，计算权重然后加权求和。这意味着可以并行计算，训练速度飞起。更关键的是，它捕捉长距离依赖的能力远超LSTM。GPT、BERT、T5，全建在这上面。可以说Transformer是过去七年深度学习最大的分水岭。我现在回头看，2017年之前和之后的论文，读起来像两个时代的东西。

生成模型这块，有两类经常被搞混。一类是生成对抗网络（GAN），Ian Goodfellow 2014年提出。一个生成器负责造假，一个判别器负责鉴真，两者对抗训练。GAN生成的图像逼真度很高，但训练极不稳定，模式崩塌是家常便饭——生成器可能只学会造某一种样本。另一类是扩散模型（Diffusion Model），思路完全不同：先给图片逐步加噪声直到变成纯噪声，再训练网络学会逆向去噪。Stable Diffusion、DALL·E 2用的就是这套。扩散模型训练比GAN稳，生成质量也高，缺点就是采样慢，要迭代几十上百步。

还有一类不能忽略：图神经网络（GNN）。社交网络、分子结构、知识图谱，这些数据不是网格也不是序列，而是图。GNN让每个节点聚合邻居的信息来更新自己的表示。推荐系统里用得多，药物发现领域也在用。我见过一个做分子性质预测的团队，把GNN和Transformer结合起来，效果比单独用任何一个都好。

强化学习（RL）跟上面这些不太一样，它不是从标注数据里学，而是从环境反馈里学。Q-Learning、策略梯度、PPO这些算法，在游戏、机器人控制里表现突出。AlphaGo就是CNN加RL的产物。但RL的样本效率低得令人抓狂，很多任务得跑几百万次才能学到点东西。这也是为什么它在真实物理世界里的落地远不如在虚拟环境里顺利。

真要用的时候，没人只用一个算法。AlphaFold2用了注意力机制加图结构，自动驾驶的感知模块是CNN加Transformer，大语言模型底层是Transformer但训练过程掺了RLHF。算法是工具，关键看数据长什么样、任务要什么。拿CNN去硬套文本序列，或者拿RNN去处理图像，不是不行，是事倍功半。选算法的第一步，永远是先看清楚你手里的是什么数据。