一年前微软研究院发表的论文《Sparks of AGI:Early experiments with GPT-4》,现在成为了马斯克起诉书中的关键角色。这篇论文通过分析早期GPT-4的能力,认为GPT-4可以被视为早期AGI。
去年论文发表时就引发不小关注,1年时间里被引次数已经高达1500次。马斯克的起诉书里写道,微软自己的科学家自己都承认了。这么看,OpenAI最新的一通回应不是啪啪自己打脸?

还真不一定。这篇《Sparks of AGI》当初爆火确实不假,但其中很大一部分热度来自争议。不少人觉得它不够严谨、在炒热度,而且这篇论文没有经过同行评议,只是上传到了arxiv,结果也无法复现。
论文内容概述: 这篇论文主要测试了GPT-4在2022年秋季的一个早期版本。研究提出,GPT-4不仅掌握语言能力,而且能解决复杂新奇的问题,任务可以跨数学、编码、医学、法律、视觉等。在这些任务中,GPT-4的表现接近于人类水平,大大超越以往LLM性能,比如ChatGPT。研究给出了关键性结论:我们认为它可以被合理地视作一个早期版本(仍不完整)的AGI。论文全篇超过150页,分别测试了GPT-4的多模态、代码、数学、常识等能力,通过大量实例得出结论。
关键实验结果: 以测试代码能力为例,GPT-4和ChatGPT会得到同样的提示词,研究人员将会对回答结果进行分析。GPT-4的一些数据结果非常值得关注,比如在零样本下,GPT-4代码能力在HumanEval上的精度达到82%。再比如在现实问题问答中,GPT-4的表现也远好于ChatGPT。研究还讨论了GPT-4基于自回归架构表现出的局限性,比如模型本身具备相应的知识能力,但是却会回答错问题,因为预测下一个token的机制使得模型不能进行“内心对话”。
对AGI的构想: 最后,论文作者还提出了对AGI的一系列构想。这篇论文发表于GPT-4面世的一周后,当时引发业界巨大关注。AGI的闪现让不少人感叹,一切都结束了。
转载请注明:微软论文《Sparks of AGI:Early experiments with GPT-4》成为马斯克起诉OpenAI的关键证据 | ai导航网