发布日期：2024-12-30 06:04 点击次数：195
著述转载于新智元沙巴贝投ag百家乐
Scaling Law要撞墙了？
Anthropic联创Jack Clark反驳了这一说法：绝非如斯！
在他看来，咫尺的AI发展还远远没到极限，「所有这个词告诉你AI进展正在放缓，冒失Scaling Law正在撞墙的东谈主，王人是造作的。」
o3仍有很大的增漫空间，但采取了不同的方法。
OpenAI的手艺窍门并不是让模子变得更大，而是让它们在运行时，使用强化学习和异常的推测能力。
这种「高声念念考」的能力，为Scaling开辟了全新的可能性。
而Jack Clark预测，这一趋势在2025年还会加快，届时，科技公司王人会启动将大模子的传统方法跟在检修和推理时使用推测的新方法连结洽。
这个结论，跟OpenAI初次推出o系列模子时的说法完全吻合了。
在吞并期间，MIT的研究者也发现，采取测试时检修（TTT）手艺，能显耀提高LLM进行逻辑推理和处罚问题的能力。
论文地址：https://ekinakyurek.github.io/papers/ttt.pdf
1
Scaling Law撞墙，所有这个词错了
在他的新闻通信《Import AI》中，Clark对对于AI发展已到达瓶颈的不雅点进行了反驳。
博文地址：https://jack-clark.net/
比如OpenAI的o3模子，就阐扬了AI极大的发展空间。
在现存遒劲基础模子之上，采取一种新方法——让大说话模子在推理时「边念念考边实行」，即测试时推测（test-time compute）。这种神色能带来弘大的讲演。
因此Clark预测，下一个合理的发展目的将是同期膨大强化学习（RL）和底层基础模子，这将带来更为显耀的性能提高。
这意味着，跟着现存方法（大模子scaling）与新方法（强化学习驱动的测试时推测等）的探讨，2025年的AI进展相对2024年会进一步加快。
OpenAI著明研究员Jason Wei也示意，愈加要道的是，从o1到o3的向上也只是只用了3个月，这说明了在鼓舞东谈主工智能领域发展方面来讲，强化学习驱动的推理膨大推测范式，会比预检修基础模子的传统膨大范式快得多。
这并非泛论，Clark列举了不少o3的亮眼收货来阐扬他的不雅点。
当先，o3灵验纵情了「GPQA」科学交融基准（88%），这彰显了它在科学领域进行知识推理息争答的能力。
它在「ARC-AGI」这一任务上的弘扬优于亚马逊众包平台（MTurk）雇佣的东谈主类责任者。
以致，o3在FrontierMath上达到了25%的收货——这是一个由菲尔兹奖得主遐想的数学测试，就在几个月前，SOTA的收货仅为2%。
而况，在Codeforces上，o3取得了2727分，名次第175。这让它成为这一极其贫穷基准上的最好竞技方法员之一。
1
模子资本将更难预测
Clark觉得，大多数东谈主还莫得分解到改日进展的速率将会有多快。
「我觉得，基本上莫得东谈主意象想——从现在启动，AI进展将会有何等急剧。」
同期，他也指出，算力资本是急速进展中的一个主要挑战。
o3之是以如斯优秀，其中的一个原因是，它在推理时的运行资本更高。
o3的起初进版块需要的算力比基础版多170倍，而基础版的算力需求一经超出了o1的需求，而o1本人所需的算力又突出了GPT-4。
o系列模子的性能与资本
Clark解释说，这些基于推理膨大范式的新模子使得资本预测变得愈加贫穷。
已往，模子的资本用度是很直不雅的，主要取决于模子的大小和输出长度。
但在o3这类模子中，由于其资源需求会证据具体任务的不同而变化，是以也更难直不雅地给出模子实行任务时的破耗。
o3推理资本达新高
除了FrontierMath和Codeforces上的收货，o3在GPT Diamond Benchmar上，对于博士级的科学问题也拿到了87.7%，远高于各自领域博士人人70%的平平分。
ARC-AGI基准测试斥地者、Keras之父François Chollet，将o3的性能称为「AI能力中令东谈主骇怪且蹙迫的阶跃函数增长」
而这背后付出的代价，即是运行o3极高的资本。
之是以会形成如斯高的资本，即是源于o3和其他模子处理问题神色的不同。
传统的LLM主要依靠的是检索存储方式，但o3处理问题时，却是靠及时创建新方法，来处罚不熟谙的挑战。
Chollet示意，o3系统的责任道理，AG百家乐上头似乎和谷歌DeepMind的AlphaZero国外象棋方法访佛。后者会环环相扣地搜索可能的处罚决策，直到找到正确方法。
这个经过也就解释了，为什么o3需要如斯多的算力——只为单个任务，模子就需要处理多达3300万个token。
跟现时的AI系统比较，这种密集的token处理资本，险些是天价！
高强度推理版块的每个任务，运行用度约为20好意思元。
也即是说，100个测试任务的资本为2012好意思元，全套400个全球任务的资本则达到了6677好意思元（按平均每个任务破耗17好意思元推测）。
而对于低强度推理版块，OpenAI尚未暴露确凿的资本，但测试夸耀，此模子不错处理33至1.11亿个token，每个任务需要约1.3分钟的推测期间。
o3在ARC-AGI基准测试中必须处罚的视觉逻辑问题示例
1
恭候Anthropic的下一步
是以，Anthropic下一步会给咱们带来什么呢？
咫尺，由于Anthropic尚未发布推理模子（reasoning model）或测试时模子（test-time model），来与OpenAI的o系列或Google的Gemini Flash Thinking竞争，Clark的这一番预测，不禁让东谈主趣味Anthropic的筹画。
他们之前晓谕的Opus 3.5旗舰模子于今仍莫得确凿音书。
斥地周期长达一个月，经过充满不笃定性
在11月，Anthropic CEO Dario Amodei曾确认，公司正在斥地Claude Opus的新版块。
开首，Opus 3.5定于本年发布，但其后Amodei再提到它时，只是说它会在「某个时刻」到来。
不外Amodei倒是暴露，公司最近更新和发布的Haiku 3.5，性能一经跟原始的Opus 3相匹敌，同期运行速率还更快，资本也更低。
其实，这也不单是是Anthropic靠近的问题。
自GPT-4亮相以来，LLM的功能并莫得取得首要飞跃，这种停滞一经成为AI行业内一种遍及的平淡趋势。
更多时候，新发布的模子只是微小的向上，跟之前有一些细小的分歧。
斥地更先进的LLM，为奈何此复杂
在Lex Fridman的播客打听中，Amodei详备阐发了斥地这些AI模子的复杂性。
他示意，仅检修阶段，就有可能会拖延数个月，还会需要大王人的推测能力，用上寥若辰星的专用芯片，如GPU或TPU。
预检修事后，模子将资历复杂的微调的经过，一个要道部分即是RLHF。
东谈主类人人会呕全心血地审查模子的输出，证据不同规范对其进行评分，匡助模子学习和转变。
接下来，即是一系列里面测试和外部审计，来查验模子的安全问题，继续是与好意思国和英国的AI安全组织互助。
总之，Amodei回来谈：天然AI的纵情在圈外东谈主士看来，像一个弘大的科学飞跃，但其实许多向上王人不错归结为枯燥和枯燥的手艺细节。
在此经过中，最贫穷的部分继续是软件斥地、让模子运行得更快，而不是首要的见解向上。
而且，每个新版块模子的「智能」和「个性」，也王人会发生不行预测的变化。在他看来，正确检修模子与其说是一门科学，不如说是一门艺术。
即使果然发布的Opus 3.5的性能有了提高，却也不及以阐扬其崇高的运营资本是合理的。
不外，天然有东谈主觉得Anthropic莫得紧跟推理模子的要领，一经足以反应LLM膨大的弘大挑战；但不得不说，Opus 3.5也并非毫无道理。
较着，它匡助检修了全新的Sonnet 3.5，它一经成为了咫尺阛阓上最受接待的LLM。
参考而已：
https://the-decoder.com/ai-progress-in-2025-will-be-even-more-dramatic-says-anthropic-co-founder/
https://jack-clark.net/2024/12/23/import-ai-395-ai-and-energy-demand-distributed-training-via-demo-and-phi-4/