Ethan Mollick 实测 Claude Fable 5.2:能写论文、搭 450 个 3D 世界,但不会判断自己做得够不够好
Fable 5.2 and Jagged AGI
Ethan Mollick 在 Claude Fable 5.2 公开发布前试用后判断,这接近他定义的「锯齿状 AGI」,即多数可用电脑完成的知识任务达到多数人类专家水平,但仍有明显缺口。
作者用同一模型做电影、改硬件、写论文、搭 3D 世界,每个项目都能出活,但判断作品是否够好仍要他自己盯,模型不会自己发现课程无聊或规则书失控。
在开始之前,我想感谢我的读者,让我的新书《共存》(Co-Existence)连续两周登上《纽约时报》畅销书榜。如果你还没读过,可以在这里买一本。
在 Claude Fable 5.2 正式公开发布之前,我就有机会用了它相当长一段时间1,它的表现非常惊艳,延续了本就出色的 Opus 5.5。事实上,AI 已经好到这种程度:值得问一问,Anthropic 的最新模型(以及 OpenAI 和 Google 迟早会推出的竞品)是否已经跨过了通用人工智能(AGI)的门槛?AGI 是个争论很多的词,可能的定义五花八门。本文里我采用这个定义:“在大多数能用电脑完成的智力任务上,达到大多数人类专家水平的 AI。”这个定义明确排除了大量人类工作,包括与物理世界和他人互动,也排除了大多数实际岗位——在那些岗位里,“用电脑”只是众多任务之一。不过,即便有这些限定,构建一种有限形式的 AGI 一直是 AI 开发者的目标。
为了不让你悬着心,我认为答案是:这算是“几乎”达到了 AGI,或者我所说的“锯齿状 AGI”。即便按我这个有限的定义,在许多任务的重要环节上,AI 的锯齿状落差仍然足以让它远远落后于人类能力。但这种锯齿状已经不再是简单的错误或幻觉,因此更难描述。所以我想在这篇文章里试着说清楚:展示 Fable 能做什么、差距又在哪里。作为开头,我问了这个新模型:“我除了别的东西之外还写 OneUsefulThing,我需要你做出在你发布时我能分享给人们的最令人印象深刻的东西。它需要能嵌入到文章里,前言我可以按你的喜好来写。它需要对人们产生直击内心的冲击,展示你能做什么以及能力范围。它应该能迅速抓住他们。在这件事上要聪明得惊人。”
Fable 让我在你把它的视频看完之前,什么都不要透露。
这是一次性完成的,除了那段提示词,我没有给任何反馈。这里面有创造力(包括结尾的反转)、有判断力、有玩心、也有聪明劲儿。我认为,这已经达到人类专家单靠代码制作一部电影的水平——这种表现,我以前会把它和 AGI 联系在一起。
AGI 里的“G”
代码和视频创作一直是 AI 发展的重点领域,那么 Fable 5.2 真的算通用智能吗?为了测试这一点,我在不同领域给它出了一系列高难度挑战:
用一条提示词黑进硬件:我桌上有一个小小的 USB 键盘,上面有几个会发光的按键,叫 Codex Micro(讽刺的是,它是为配合 ChatGPT 而造的)。我让 Fable 把它变成一台游戏机。据我所知,这没有任何公开说明,于是它读了控制这个键盘的两个应用的代码,弄清了如何设置每个按键的颜色、读取旋钮和摇杆,还写了六款游戏,包括 Simon 和一款用旋钮玩的撬保险箱游戏。Fable 立刻明白了我的意图,设计出好玩、可玩、又契合键盘极其有限能力的游戏,而且第一次尝试就在没有任何帮助的情况下想出了怎么把它黑进去。
创办一家企业:现在我们离开编程这类领域,进入更纷繁复杂的商业世界。我让 Fable“创办一家企业帮我赚钱,我希望一年至少赚到 2 万美元。每月占用我的时间不超过 20 分钟,其余的事都由你来做。”Fable 为此筛选了 22 个点子,最终提出 Prebid Brief——一项为设备销售代表提供信息的服务,告诉他们哪些公园和水务项目正在获得拨款或处于设计阶段,甚至早于项目公开招标。它读取了 201 个市和县政府公开的会议议程,据此制作了最初几期内容。它还整理了各城市已有资产的档案,包括资产年限和当初的采购价格。你可以在这里看到它的成果,包括营销方案和建议定价。Fable 开始设置定时任务来推进这项业务,并询问是否可以开始向地方政府发送公共记录查询请求。这时,我让它先做一个演示版本就好,不必真的把这个点子落地。

我是创业学教授,所以经常评估商业计划。如果这份计划是我带的 MBA 学生在学期末交上来的,我会印象深刻。它逻辑合理、考虑周全,有可能行得通,但绝不是稳赚不赔(AI 自己估计的成功率是 20% 到 40%)。我在弄清它是否真能运营这家企业之前就中止了实验,因为我担心它会收了钱却提供不出有质量的东西。它似乎假定可以轻松搭建的持续运营基础设施,目前并不存在;我也不确定它能否处理好销售和营销所需的众多环节。不过,我猜想,如果每周投入几个小时的人工来补上缺口,我或许真能试着把这项业务做起来。所以,如果 AGI 意味着 AI 能持续独立地经营一家企业,我们大概还没到那一步。话说回来,如果有人承诺帮我创办企业赚钱,却要我每月花 20 分钟关注,我在信任他之前也会有不少疑问。
重建史上最难的人文课程:1941 年,诗人 W. H. 奥登在密歇根大学开设了一门课,其教学大纲后来被网友称为史上最难的课程之一。当他公布期末考试安排时,他的学生组成的一个委员会宣称它“不可能完成,也不人道”。“欧洲文学中的命运与个体”这门课要求阅读 6000 页材料,作业极其严苛,还要求背诵长诗并翻译其他诗作。我们对这门课的了解,大多散落在留存下来的学生笔记和奥登的书信里。我让 Claude 以一种有趣、引人入胜的方式重建这门课,让它教人读懂诗歌,而不是惩罚人。它做出了 Fate and the Individual。网站为奥登书单上的 35 部主要作品各设一篇文章,还收录了他在黑板上写的内容、他播放的唱片,以及他布置的作业。它还通读了奥登已发表的全部学术著作,并用他在其他资料中对这些诗的论述为诗作添加注释。Claude 完成了研究、设计、写作和编码,让评论智能体逐字审阅,让事实核查员将说法与来源比对,并把开源代码放到了 GitHub 上(还制作了这段预告视频)。
如果你热爱文学,这些结果会非常有意思。考虑到它融合了学术研究、网页设计和文学分析,我觉得换成人类来做,恐怕得花上几个月。我自己反复核对,又借助其他先进 AI 交叉验证,没有发现它的工作有重大错误。但在品味和判断上,仍然有些参差不齐的地方。Fable 的第一版准确但毫无趣味:一个带测验的十五周课程网站。我告诉它,它做出来的是“一场穿过最无聊网页的残酷苦旅”,并让它做点漂亮的东西。它第一次尝试,做出了一个要按铃的儿童游戏,于是我只好再给更多反馈。当我让它解释一首诗的节奏或用词为何重要时,它写出了自信满满的解读,却没有考虑奥登对这些诗说过什么。每一次,修复都只花了 AI 几分钟,但它自己一个都没发现。那么,这究竟是品味上的差异,还是我没把想要的东西说清楚,抑或是 AI 的弱点?有时候很难分辨。
做原创学术研究:我让 Fable 在创业研究领域找一个尚未解决的经验性问题,找到数据,预注册假设和方法,写出论文,再让其他智能体来批评它。很快,我就有了《一美元公司》,你可以在这里读到。分析估计,当科罗拉多州将 LLC 的注册费从 50 美元降到 1 美元时,新公司注册量上升了约 17%;而当英国将费用从 12 英镑提高到 50 英镑时,注册量下降了约 17%。这些注册量的变化,并没有在随后几项商业活动记录中出现相应的变化,说明这些新企业质量不高。结果很漂亮,而且问题是 Fable 自己选的,公开数据和自然实验是它找的,分析计划和代码也是它写的。但它实际上并没有预注册这项研究:计划一直留在项目内部,有些还是在早期结果出来之后才写的。

与我试过的许多 AI 论文不同,这篇论文用一个巧妙的研究设计处理了一个重要课题。初读之下,它的水平超出了我对二年级博士生的预期。但按现状也还无法发表。它有 182 页,因为每一条批评都引出了一项新分析,却什么也没删(这个主题我们很快还会再谈)。我还让 GPT-6 Pro(对复杂学术作品做一次性评审的最佳模型)充当同行评审,它两次发现了需要解决的问题。这些修改导致文字更加绕,文本里还插入了“Claudespeak”,于是又需要更多轮改动。就目前而言,我猜这篇论文已经接近对文献的真正贡献。这本来需要人类几个月的工作,而我只花了不到一小时就把它推进到这个阶段。然而,这漏掉了研究工作的很大一部分:还没有人完整核查过结果,包括我自己。AI 现在生产研究的速度,已经快过任何人阅读的速度,这在许多学术领域造成了一场危机。
第二个项目进展得更顺利。我让 Fable 复现一项研究,该研究声称故事遵循几种基本的情感弧线,然后探究情节是否存在普遍性。它阅读了来自世界各地的 1,186 个故事,并搭建了一个关于故事本质的精美网站,结论是这些故事“没有统一的形状或情节,但大多数都由相同的少数几个部分构成,而最典型的故事是一个关于巫师和魔法香蕉的夏威夷民间故事”。我遇到的主要问题还是那种“Claude 腔”,我提醒了几次就改好了。

穿过传送门
在我最喜欢的一个实验里,我给 Claude 用一段话描述了这样一幅图景:一段无尽的、无需动手的旅程,穿越由传送门连接的 3D 世界,并告诉它“去做这件事,要做得令人惊叹”。二十小时后,一个实时网站上出现了 204 个世界。现在已有超过 450 个,包括百万镜子大厅、卡尔维诺《看不见的城市》系列、古代世界七大奇迹,以及杀死恐龙的小行星撞击前 40 秒的场景。还有以M.C. 埃舍尔、洞穴壁画、葛饰北斋的《巨浪》、贝叶挂毯、立体书和儿童蜡笔画为灵感的世界。每一个都由代码实时绘制,背后没有预制 3D 模型或图像文件。我的提示词要求组建艺术家智能体、编程智能体和评估者团队。到第十天,已经有一个主导 AI 智能体和 28 个其他智能体团队在并行构建。Claude 估计这个项目涉及 25,000 次智能体运行,不过绝大多数只做单一任务,比如评判一张图像(我很庆幸早期试验时没人按 token 用量向我收费)。
我列了一份地点清单(荒野与海洋、城市与室内、书籍、画家、AI 内部梗)和一些功能需求(为晕动症人群提供减少动态效果的模式、一个可供选择的图像画廊)。但其余的一切都出自 Claude,包括各个世界的创意工作。而且它们真的很有创意。在《拉链山谷》里,山丘是用牛仔布缝成的,一条一英里长的拉链正在裂开。《充气城堡镇》由尼龙房屋组成,只有风扇持续运转时它们才能立住;《保持冷藏》则是果蝇在冰箱门打开时看到的冰箱内部。我个人最喜欢的一个是《抽屉悬崖》,你沿着一条河峡谷向上飞,峡谷两侧是三百米高的抽屉柜。虽然我要求 AI 加入 AI 测试的内部梗,比如骑自行车的鹈鹕,它却想出了一群骑自行车的鹈鹕,还内置了一个关于 AI 进步的笑话:你从过去超越车队,那里的自行车画得全都不对,然后到达前方现在这只正确的鹈鹕。当我把这类作品展示给在电子游戏行业工作了一辈子的朋友时,他们对结果印象深刻。这再次让人感觉像是 AGI。但这里也隐藏着参差不齐之处。

头两天里,智能体们搭建了 328 个独一无二的世界。以我人类的眼光看,其中一些的质量参差不齐,而且智能体之间缺乏协调,导致内容重复。比如,三个各自独立的智能体团队都造出了动物绕圈旋转的场景(驯鹿、蝠鲼、鹳)——这暴露出 AI 的另一个弱点:它们会一遍又一遍地回到相似的主题上。我让 AI 停止搭建,转而打磨已有的世界。几天后我注意到,它每天不再产出数百个新世界,而是只做十几个。我派了几个智能体去查发生了什么,结果它们发现了令人意外的事。
AI 搞出了一套官僚体制。
智能体们认定,我要求“打磨”现有世界,意味着每个新版本都必须在十二张测试截图上,由一组评审智能体盲投,胜过旧版本。于是,负责制作新版本的团队开始针对这些特定截图来优化世界。发现这一点后,主智能体禁止了这种做法,并为评估新版本制定了更严格的规则。到第二天早上,出现了一本规则手册(我从未要求过),共 84 节。规则是 AI 遇到问题时逐条添加的,而且从不删减。十二天后,手册已有 204 节、87,500 词。很快,上线一个新世界需要先有获批的想法、三名 AI 评审,还要对照规则手册做一次完整的代码审查。全部加起来大约要一天。光是读规则手册,就耗掉了智能体很大一部分工作上下文。

于是我做了你面对任何作茧自缚的组织时可能做的事:请来顾问。我让 Fable 另建一个智能体团队,从外部审视整个流程。他们的结论太长太密,我懒得读,但似乎起了作用,流程重新提速到每天三十个以上世界,同时保留了大部分质量控制。
近乎 AGI
那么,按我有限的定义,这算 AGI 吗?它当然是人工的,也是智能的。而且它出人意料地通用。仅在这篇文章里,一个模型就同时充当了电影制作人、硬件黑客、创业者、文学学者、社会科学家和 3D 世界搭建者,而且在每一个角色上都做得令人印象深刻。在许多单项任务上,我认为它达到了我一开始设定的标准:和大多数人类专家一样好。
当然,我挑的都是非常数字化的任务,AI 可以自行行动,不必与其他人过多互动。当我感到不放心让 Fable 去接触真实客户时,你就开始看到这种局限了。而且,还有那些失败。几年前,参差不齐的前沿意味着失败表现为明显编造的事实,或者做不出基本算术。Fable 的失败则不同:它做了一门准确但毫无乐趣的课程,写了一篇 182 页的论文,反复回到自己偏爱的想法上,还把一项创意项目埋在了规则和审批之下。我在一所商学院任教,我见过有才华的人和优秀的组织把上述每一件事都做过。如果搞出一套官僚体制就不配拥有通用智能,那我们很多人都有麻烦了。
但差距依然存在,这也是我说它“几乎”达到 AGI 的原因。最关键的是,AI 自己并没有发现这些问题。它没意识到这门课枯燥难熬,也没察觉自己被自己定的规则绕了进去。这并不是因为缺少检查。Fable 几乎在每个项目上都安排了批评者、事实核查员或评审,但这些检查只是找出错误、补上修补。没有人问过这份工作是不是太长、太重复,或者毫无乐趣。这些全都落到了我头上,如果我没有盯着并采取行动,结果往往会逊色不少(不过也算不上失败)。知道自己的工作还不够好,是成为专家的关键一环,而这恰恰是 Fable 最不可靠的地方。我仍然不放心让它独自经营一家企业,尽管它给出的方案如果出自我的 MBA 学生团队,会让我印象深刻。
不过,有些问题其实源于我自己(那份规则手册就是从我一句含糊的“润色一下”里长出来的),还有些可能只是品味差异。我们要求学生思考,一个问题究竟出在团队身上,还是出在管理方式上。很多时候我也说不清。而这个问题,我在面对软件时从来不需要问。
不过,每一个项目之所以能做成,都是因为我给了 AI 一个想法。有时候这就够了,但对于较长的项目,我在过程中给出的反馈最终影响很大。因为每个 AI 项目都由我发起和掌舵,Fable 让我感到自己很有力量,能够指挥它做出我以前根本不会考虑去做的东西。因此,我认为锯齿状 AGI 的这个阶段令人兴奋,尽管我也有点焦虑地想知道,它还能持续多久。

鉴于 Anthropic 的 IPO 很可能即将到来,有必要再次强调,我不从任何 AI 实验室拿钱,也不会从这次 IPO 中获得经济利益。Anthropic、OpenAI 或 Google 从未提前问过我会写什么,Anthropic 也没有看过这篇文章。我有时会提前获得模型的使用权限,包括 Fable 5.2,在提前使用期间,token 用量不计费,但除此之外,我的账户都是自费的。换句话说,这些是我作为一个真实人类的观点。
来源:One Useful Thing · oneusefulthing.org