AI繁荣是否正在耗尽轻松收益？

轰鸣的AI引擎：是否在喘息？

在令人眩晕的几年里，人工智能仿佛坐上了一个只加速的火箭雪橇。一个新模型问世，人工智能就能突然写诗、通过扫描诊断眼疾，或击败围棋世界冠军。每一次飞跃都毫不费力：你只需给更大的模型喂更多数据，像变魔术一样，它就变得更聪明了。进步似乎无穷无尽。

近来，这种感觉发生了变化。下一个大飞跃更难找到了。GPT-4无疑令人印象深刻，但从GPT-3到GPT-4的飞跃感觉小于从GPT-2到GPT-3的飞跃。自动驾驶汽车技术上可以在路上行驶，但它们只困在少数几个城市，仍然被真实道路上的离奇随机性所困扰。训练最新模型现在耗资超过好莱坞大片——数亿美元——换来的却是日益有限的提升。

发生了什么？AI引擎是在喘息，还是只是换到了一个更高、更困难的档位？

为什么AI的进展速度对你的生活很重要

这不仅仅是一场针对穿连帽衫的工程师的书呆子辩论。AI进步的步伐直接影响你的工作、你使用的产品和经济。

如果轻松收益没有了，你听到的预测可能需要认真面对现实。

• 你的工作： 明年AI会接管你的任务吗？还是放缓会让白领工人有更多时间适应并将AI作为工具而非替代品？
• 你使用的产品： 你的手机明年真的会变得更聪明，还是只是更快？你口袋里的AI医生会在五年内成为现实，还是五十年？
• 经济： 数万亿美元的市场价值是基于爆炸性、持续增长的假设。如果这条曲线变平，赌注就会改变。

理解真正的放缓与进步方式战略转变之间的区别，是看穿炒作并了解真正接下来会发生什么的唯一途径。

燃料：数据、算力和简单规模化

最近AI繁荣的引擎运行在一个出奇简单的配方上。这被称为规模假说，曾一度感觉像是自然界的铁律。

可以把训练AI想象成建造一个巨大的、噼啪作响的篝火。

• 木柴（数据）： 整个公共互联网——书籍、维基百科、Reddit帖子、YouTube字幕。
• 风箱（算力）： 数千个专用计算机芯片（GPU）运行数月，消耗数百万美元的电费。
• 添柴策略（规模化）： 只需把火堆得更大，添加更多的木柴。

基本洞见是，仅仅让模型更大、在更多数据上训练就能带来可预测、可靠的智力提升。这惊人地有效。GPT-3是这一哲学的丰碑。

但这个篝火有问题。我们正在耗尽容易获取的木柴。互联网上大部分高质量文本已被消耗。新文本主要是用户评论或专业论文，它们的规模化效果不佳。同时，风箱现在如此昂贵，以至于世界上只有少数公司负担得起运行它们。最关键的是，火并没有按比例变得更热。每一根新木柴增加的热量都比前一根少。这被称为收益递减。

AI模型如何改进：训练与学习曲线

要理解为什么规模化陷入停滞，你必须理解模型实际上是如何学习的。

想象教一个孩子画猫。

1. 陡峭曲线： 给他们看一万张猫的图片。他们很快学会整体——头是圆圈，耳朵是三角形。进步巨大而迅速。这些是轻松收益。
2. 平台期： 再给他们看十万张猫的图片。画作略有提高。毛发更细致一些。胡须更直了。但与第一阶段相比，进步微小。

AI算法遵循完全相同的曲线。轻松收益来自掌握广泛而浅层的模式：语法、物体识别、基本事实回忆。这些模式在数据中丰富存在。

困难的问题——逻辑、规划、因果推理、理解微妙的讽刺——在数据中很少见。一个文本预测模型已经读过了十亿条关于猫的描述，但它从未在现实世界中见过一只“猫”。它无法推理为什么猫可能会害怕黄瓜。要在这些更难的问题上做得更好，仅仅向它展示更多猫的图片是行不通的。你需要一种根本不同的教学方式。

案例研究：GPT-4、自动驾驶汽车和AlphaFold

“规模化平台期”的证据写在了过去两年的头条新闻中。

GPT-4：昂贵的升级 GPT-3是一个启示，让世界驻足凝视。GPT-4是一次改进。它更好、更安全、偏见更少，但并没有改变谈话的焦点。为什么？为了挤出那额外的性能，OpenAI不得不求助于巧妙的工程技巧——比如“专家混合”（有效地并行运行许多较小的专家模型）和大量的人类反馈。这不仅仅是规模化；这是在旧策略周围发明新的脚手架。同时，成本从GPT-3估计的400万美元飙升到GPT-4的超过1亿美元。

自动驾驶汽车：长尾 这是一个行业撞墙的完美案例研究。Waymo和Cruise确实令人印象深刻。它们可以在特定、地图完善、天气良好的地理区域完美驾驶（你好，菲尼克斯！）。但它们在边缘案例上挣扎——那些荒谬地罕见但无限变化的1%情况。从卡车上掉下来的床垫。穿恐龙服装的行人。在坏掉的信号灯前指挥交通的警察。驾驶的前90%被数据和规模“解决”了。最后的10%非常顽固。向问题投入更多正常驾驶的视频无助于模型为燃烧的风滚草做准备。

AlphaFold：结构突破 DeepMind的AlphaFold解决了生物学中一个长达50年的重大挑战：预测蛋白质如何折叠成三维形状。这是一次巨大的胜利。但关键是，它不仅仅是一个放大的图像识别模型。它需要结构创新。研究人员构建了一个新的架构，在原始数据之外理解几何和物理。这不仅仅是更多的火；这是一种不同的烟。这是一条充满希望的前进道路。当蛮力失败时，创造力成功。

关于AI进展人们常犯的错误

很容易在炒作和绝望之间摇摆。真相更加微妙。让我们澄清几个常见的误解。

1. “进展速度将永远如此之快。” 这是天真的。指数曲线总会触及资源限制。算力成本和数据稀缺是真正的刹车。进步的“S曲线”是真实的。
2. “繁荣正在结束，所以进步结束了。” 这是灾难化思维。通用蛮力规模化的轻松繁荣正在成熟。专门化、高效、聪明的AI的繁荣才刚刚开始。
3. “更多数据+更大模型=总是更好。” 案例研究证明这是错误的。规模与智力之间的关系正在变成对数关系。你必须指数级更努力地工作才能获得线性更少的收益。
4. “当前AI可以思考。” 不。大型语言模型是令人难以置信的自动补全引擎。它们是模式匹配大师，而非推理大师。这就是为什么它们如此擅长模仿人类说话，但在基本算术或规划一个不违反物理定律的假期方面却如此糟糕。