llya Sutskever-前openAI首席科学家

摘自数字生命卡兹克

现在的AI模型很奇怪。

一方面，它们在各种评测集上刷出了逆天的分数，什么考试、什么竞赛、都能名列前茅。

但另一方面，你把它扔在真实的世界里去解决实际问题，它又蠢得让人想砸电脑。

他举了个例子，特别写实：

就是你让AI帮你修一个bugA,它说“好嘞”，然后给你引入一个新的bugB。

你再让它修bugB,它又说“没问题”，然后转身就把bugA又给改回来了。

就这么来来回回，修了半天修不好，我相信大家玩vibe coding的人，都遇到过这个问题。

llya自己也一直在思考，为什么会这样？为什么评测表现和世界表现之间，有这么大的鸿沟？

他在这个播客里面，给出了一个非常深刻的类比。

他说，现在的AI模型，就像一个特长生A,这个学生的目标呢就是成为最牛逼的算法竞赛选手。

于是他花了一万个小时，刷遍了所有竞赛题，背熟了所有解题技巧。最后，他确实成了这个领域的王者。

但还有有一个通才生B。他对竞赛也感兴趣，但只花了100个小时去练习，成绩也不错。

但他把更多的时间，花在了理解世界、广泛阅读、与人交流这些务虚的事情上。

llya问：这两个学生，谁未来的职业发展会更好？

答案不言而喻，是学生B.

因为学生A的强大，是一种应试的强大。

他的所有能力，都是为了在测评中拿高分这个单一目标而优化的。这种训练。就像把一个人的视野强行压缩成一根针，他在这根针里能看到原子，但在针以外的世界里，他是个盲人。

而学生B，他拥有一种更可贵的东西，llya也不知道该怎么描述，所以他的原话就是“那股劲儿”，一种更深刻的、更具泛化性的理解力。

所以，最后就会导致，经过重度RL对齐的模型往往显得更笨重或更缺乏创造力，RL强行让AI去讨好人类的某个单一指标，却可能牺牲了它原本宽广的通用智力。