AI距离自我改进还有多远？Anthropic披露最新进展与潜在风险

AI辅助研发正在成为前沿模型公司的竞争优势，但越依赖AI提高研发效率，就越需要确保安全评估的独立性和人类决策权。

文章作者、来源：ME News

TL;DR

• Anthropic发出新警告： 11月2日更新的IPO招股书指出，AI可能很快达到显著加速自身研发的关键门槛，但公司尚未认定任何现有模型已经跨过这一门槛。
• AI正在深度参与自身研发： 2026年9月，Claude编写了Anthropic内部代码库超过90%的代码贡献，开始在实验、模型训练、代码审查等环节发挥重要作用。
• 自我加速不等于完全自主： Anthropic关注的关键门槛包括以具有竞争力的成本替代整个人类AI研究团队，或使AI整体能力的进步速度至少翻倍。
• 真正的风险是发现得太晚： 当AI能力增长速度超过安全评测和防护措施的更新速度，研发机构可能直到显著加速已经发生，才意识到技术跨越了重要界限。
• 技术竞争与安全管理出现矛盾： AI辅助研发正在成为前沿模型公司的竞争优势，但越依赖AI提高研发效率，就越需要确保安全评估的独立性和人类决策权。

一份IPO招股书，为何突然谈起AI失控风险？

2026年11月2日，Anthropic向美国证券交易委员会提交更新后的IPO注册文件。外界原本关注的是这家Claude开发商的营收表现、算力投入和上市估值，但招股书风险因素章节中一段关于AI自主研发能力的披露，揭示了一个可能比财务数据更值得关注的变化：人工智能正在越来越深地参与下一代人工智能的开发，而这种技术进步的速度，可能已经开始超出研发机构自身的观察能力。

Anthropic在文件中承认，公司过去曾经未能及时识别AI研发速度的显著加快，直到加速已经发生后才意识到变化。根据内部估算以及对未来模型能力的预测，公司认为，AI可能很快达到其《负责任扩展政策》中所定义的“由AI推动的显著加速进步”门槛。不过，Anthropic同时强调，目前尚未认定任何现有模型达到这一水平，相关判断仍需要进一步验证。

这段表述值得注意的地方，并不在于Anthropic预测AI即将变得多么强大，而在于它承认了一项相当重要的管理局限：一家掌握先进模型、算力资源和内部评估数据的AI公司，也未必能够实时准确地判断自己的研发究竟加快到了什么程度。过去，技术进步主要依靠人类研究人员推动，机构可以通过研究项目、实验周期和模型发布进度观察变化。如今，当AI逐渐成为研发过程的一部分，这些传统指标可能不足以完整反映技术演进的真实速度。

这也解释了为什么此次预警与过去关于超级人工智能的讨论有所不同。它并不是单纯推测AI未来是否拥有超越人类的智能，而是从已经发生的研发流程变化出发，讨论一个更加现实的问题：当人工智能开始帮助人类制造更强的人工智能，原有的技术评估、安全审查和管理制度，是否仍然能够跟上这一过程？

尤其值得注意的是，这份文件来自一家正在准备上市的商业公司。按照证券监管要求，企业需要向投资者披露可能影响经营和财务状况的重大风险，因此不能把招股书中的前瞻性判断直接视为已经得到验证的技术事实。但同样不能因此忽略它所透露的信息：AI自我加速已经不只是未来研究中的理论议题，而是进入了前沿模型企业的实际经营和风险管理框架。

Claude正在帮助开发下一代Claude，AI研发开始形成闭环

要理解Anthropic的担忧，首先需要弄清楚一个事实：AI参与自身研发，并不是某一天突然发生的技术突破，而是一个已经持续数年的渐进过程。

早期的大语言模型主要承担代码补全、资料整理和辅助分析等工作，研究人员仍然需要亲自设计实验、执行程序并判断结果。随着AI编程智能体逐渐成熟，模型开始能够独立修改代码、运行测试、分析错误，甚至连续执行复杂的工程任务。当这些能力进入AI公司的内部研发体系，模型与研究人员之间的关系也开始发生变化。

Anthropic在招股书中披露，2026年9月，Claude编写了公司内部代码库超过90%的代码贡献。2026年第三季度，平均每位工程师每天贡献的代码量已经超过2024年全年日均水平的45倍。此外，根据公司的内部基准测试，Claude在部分复杂、开放式工程任务上的成功率于2026年9月达到约90%，较九个月前提高约50个百分点。

这些数字非常惊人，但也需要谨慎解读。代码贡献量增长45倍，并不等于工程师真实生产率提高45倍，更不能直接证明AI研发速度提高了45倍。代码数量无法完整反映软件质量、维护成本以及复杂项目的整体交付效率。不过，这些数据至少表明，AI已经从研发人员偶尔使用的辅助工具，转变为Anthropic内部技术生产的重要参与者。

更关键的变化发生在模型训练与优化环节。根据Anthropic披露的信息，Claude已经参与运行实验、生成和处理训练数据、自动化评估、安全审计以及代码审查。更强的Claude帮助研究人员寻找算法和计算效率方面的改进，而这些改进又能够帮助公司训练和部署更强大的下一代模型。

Anthropic将这种循环称为“Closing the Loop”，即形成研发闭环。它的核心逻辑是，上一代模型提升了下一代模型的开发效率，而下一代模型又进一步增强了研发能力。如果这种效率提升能够持续积累，AI技术发展就可能不再完全依赖人类研究团队规模的扩张。

我的判断是，AI行业正在从单纯依靠算力和人才推动技术进步，逐渐转向由模型能力、计算资源与自动化研发共同驱动的新阶段。 这种变化尚不足以证明完全自主的递归自我改进已经实现，但它已经使传统研发模式的边界开始松动。

AI自我加速究竟意味着什么？Anthropic划出了两道门槛

“递归自我改进”（Recursive Self-Improvement，RSI）并不是一个容易精确界定的概念。简单来说，它指的是AI系统能够利用自身能力改进AI系统，并通过持续重复这一过程进一步提升能力。不过，AI能够协助研究人员改进模型，与AI能够自主完成下一代模型研发，仍然存在明显差距。

Anthropic于2026年7月8日生效的《负责任扩展政策》3.4版本，为自动化AI研发设定了两项触发条件。

第一项是模型能够以具有竞争力的成本，全面替代公司现有的研究科学家和研究工程师。政策进一步将成本条件界定为与人类团队相比不超过五倍的成本差距。这不仅要求AI完成编程与实验，还意味着它能够承担研究人员所负责的整体工作。

第二项则更加值得关注：即使AI尚未完全替代人类研究团队，只要AI研发自动化显著推动整体能力进步，使进步速度达到原有基准的至少两倍，并且能够合理归因于自动化研发，也可能触及相关门槛。

这里的翻倍并不意味着工程师完成两倍数量的任务，而是指原本按照基准速度需要两年才能取得的AI整体能力进步，如今能够在一年内完成。Anthropic还要求相关判断与此前未受到显著AI研发贡献影响时的最快持续进步速度进行比较，避免将算力投入或人员扩张造成的改善误判为AI自我加速。

这种定义反映出一个重要转变：衡量AI是否进入自我加速阶段，重点已经不是它能替代多少工作岗位，而是它是否开始实质性地改变技术进步本身的速度。

Anthropic的研究也表明，目前的Claude虽然能够高效执行目标明确的实验，但在自主选择研究方向、判断哪些问题值得解决等方面，与资深研究人员仍存在差距。换言之，模型在执行层面已经具备相当强的能力，但距离完全掌握科研决策仍有距离。

这也是为什么不能将此次警告简单理解为“AI已经能够自己创造更强的AI”。更准确的判断应该是，AI正在接近足以改变研发速度的能力边界，但完全自主研发的技术条件和安全条件尚未得到证实。

真正危险的不是AI突然变聪明，而是人类发现得太晚

Anthropic此次披露中，最值得警惕的并不是对未来模型能力的预测，而是它承认自身对于研发加速的判断，在相当程度上依赖滞后指标。

传统技术研发通常需要经过明确的实验、验证和迭代过程，管理者能够根据项目周期和测试结果判断进展。但在AI参与研发的情况下，越来越多的实验、代码修改和性能优化可能由模型持续完成。即使每一次改进的幅度并不明显，长期积累后也可能形成超出原先预期的能力变化。

这就产生了一种新的风险：研发机构仍然可以看到模型的测试结果，却未必能够准确判断这些结果背后的进步速度已经发生了多大变化。等到新的能力在系统评估中得到确认，相关技术变化可能早已发生。

独立研究机构METR对于AI智能体任务完成能力的研究，为理解这一问题提供了另一个角度。该机构通过衡量模型能够以一定成功率完成多长时间的人类任务，观察前沿AI能力的变化。Anthropic在有关自我改进的研究中指出，按照相关数据趋势，模型可独立完成的任务难度对应的人类工作时长，近年来呈现持续快速增长的特点，近期估算的翻倍周期约为四个月。

当然，这项指标存在明显局限。METR的测试主要涉及软件工程、机器学习和网络安全等相对容易定义结果的任务，所谓任务时长也不是AI实际运行的持续时间，更不能直接等同于现实世界中的全部工作能力。但它仍然说明，部分AI能力的提升速度已经快到必须持续更新评估方法，才能避免旧指标逐渐失去区分度。

问题在于，AI安全研究同样需要时间。研究人员必须设计新的测试场景，检查模型是否存在欺骗、错误判断或违反预期目标的行为，同时验证安全防护措施在更强模型面前是否依然有效。如果模型能力的迭代速度持续加快，而安全测试和对齐研究仍然按照原有周期推进，两者之间就可能形成不断扩大的时间差。

更复杂的是，AI本身也越来越多地参与代码审查、安全评估和测试工具开发。这固然能够提高安全工作的效率，但如果研发与评估过度依赖相似模型、相同的数据或共同的技术假设，就可能出现关联性盲区。一个没有被上一代模型发现的系统性缺陷，也有可能被带入下一代模型的研发过程。

这并不意味着AI必然会主动隐瞒问题，也不能证明现有模型已经具备脱离人类控制的能力。真正值得担忧的是，当技术研发和安全验证越来越依赖同一套自动化体系，人类就必须回答一个更基础的问题：我们如何确认这套体系对自身能力和风险的判断仍然可靠？

自我加速不等于无限增长，AI仍然面临现实约束

尽管Anthropic的警告有充分的现实依据，但如果因此认为AI即将进入无法阻挡的指数级增长，仍然是一种缺乏证据支持的推断。

首先，AI研发并不是单纯的代码生产。更强模型的训练仍然需要算力、能源、数据、芯片和复杂的基础设施。AI可以帮助研究人员优化算法、提高计算效率，却不能立即消除所有物理资源和工程约束。即使模型能够更快提出训练方案，也必须通过实际实验和验证才能确定方案是否有效。

其次，研发效率与最终能力进步并不是简单的线性关系。一个研究团队将实验执行速度提高十倍，不意味着它能够在相同时间内取得十倍的科学突破。真正重要的进展往往依赖正确的研究方向、可验证的新方法以及对失败实验的深入理解，而这些能力恰恰是目前AI仍然需要继续发展的部分。

Anthropic自己也承认，AI自我改进并非不可避免。在其相关研究中，公司讨论了多种发展情景，包括人类仍然主导研发、AI显著提高研发组织效率，以及AI逐渐具备完整自主开发后继模型的能力。不同情景对应的技术速度、经济影响和安全问题并不相同。

还有一个容易被忽视的事实，即使AI研发发生显著加速，这种变化也未必会立即传导到整个现实经济。药物研发仍然需要临床试验，工业生产仍然依赖供应链和设备建设，企业采用新技术也需要完成组织调整。AI提高科研能力，和经济社会全面吸收这些能力，中间存在大量无法仅靠计算速度解决的瓶颈。

因此，讨论AI自我加速时，既不能因为现阶段仍有人类参与，就认定技术风险遥不可及，也不应该将研发自动化直接等同于人工智能全面失控。真正需要观察的是，模型在自主研究决策、复杂实验执行和持续能力提升方面，究竟取得了哪些可以独立验证的进步。

技术竞赛与资本市场，正在放大这一矛盾

Anthropic选择在IPO招股书中披露这一风险，也让AI自我加速的问题拥有了更鲜明的商业背景。

根据11月2日更新的文件，Anthropic在2026年第三季度实现约169.6亿美元营收，同比增长1127%。与此同时，公司披露的计算与基础设施相关承诺支出总额约为8954亿美元，其中约4475亿美元预计将在2030年底之前发生。

这些数据反映出前沿AI行业正在形成一种资本密集型竞争模式。模型能力越强，产品竞争力和商业化机会可能越大，而更强的收入增长预期又能支持企业继续投入算力、人才与研究。如果AI辅助研发能够显著提高模型开发效率，它自然会成为企业争夺技术领先地位的重要手段。

但与此同时，AI研发自我加速也可能使安全措施与商业竞争之间的矛盾更加突出。对于一家前沿模型公司而言，推迟新模型发布可能意味着失去市场机会，增加安全评测又可能提高研发成本。在资本市场持续关注收入增长、盈利能力和技术优势的环境下，主动放慢研发速度需要付出真实的商业代价。

Anthropic在招股书中也明确承认，更严格的安全措施可能影响新模型开发和部署的时间，并削弱其相对于采取较少限制措施的竞争对手的优势。

这意味着，AI安全已经不只是科研伦理问题，也正在成为商业治理问题。一家企业即使认识到技术加速的风险，也不代表它能够在激烈竞争中独立解决全部问题。

当然，也需要警惕另一种解读：Anthropic在上市前强调AI可能很快进入新的能力阶段，也可能强化投资者对其技术优势和未来增长空间的关注。因此，技术风险披露与商业叙事并非完全割裂。判断这些预测是否可靠，最终仍然要依靠可重复的实验结果、透明的评估方法和相对独立的外部审查，而不能仅凭企业自身的判断。

人类真正需要守住的，是AI研发过程中的决策权

面对可能到来的自我加速阶段，最有效的应对措施不是简单限制所有AI研发活动，而是重新设计技术开发与安全验证之间的关系。

首先，前沿AI机构需要建立能够持续反映研发速度变化的监测机制，而不能只依赖模型发布前后的集中测试。尤其当AI广泛参与实验设计、训练数据处理和代码修改时，关键研发过程应当保留完整记录，并确保研究人员能够追溯重要能力变化的来源。

其次，安全评估不能完全依赖被评估模型自身的判断。独立测试、外部专家审查、交叉验证以及必要的人类批准机制，都应当成为重要技术决策的组成部分。对于模型能力出现异常增长、评测结果存在重大不确定性等情况，也需要建立能够触发额外审核或暂停相关研发部署的程序。

Anthropic目前已经通过《负责任扩展政策》建立风险报告和安全路线图机制，并在最新招股书中表示，正在考虑进一步修改政策，以确保前沿模型开发仍然处于人类监督和控制之下。不过，这些机制能否适应未来可能出现的更快研发周期，仍然需要实践检验。

从更长远的角度看，AI自我加速也可能改变科技行业的竞争逻辑。过去，企业的优势主要来自研究人才、计算资源和技术积累；未来，能否建立高效率且可验证的自动化研发体系，可能成为新的竞争变量。与此同时，安全能力也不应该被视为单纯拖慢创新的成本，因为模型越强大，可靠性和可控性对于企业长期经营就越重要。

Anthropic此次预警的价值，恰恰在于它把一个过去经常停留在理论讨论中的问题，放进了真实的技术研发和商业经营环境。我们没有充分证据认定AI已经进入完全自主的递归自我改进阶段，但有越来越多的证据表明，AI正在加快自身技术体系的研发进程。

未来真正重要的分界线，未必是某个模型第一次展现出超越人类研究人员的能力，而可能是AI研发速度开始持续超过人类理解、验证和管理这些能力的速度。

人类需要警惕的，不是AI某一天突然拥有了自己的意志，而是我们可能在仍然以为自己掌握研发节奏的时候，才发现决定技术发展速度的关键因素已经改变。技术进步本身并不可怕，可怕的是人类对技术变化的认识和治理能力逐渐落后，却没有及时意识到这种落后。

这也是Anthropic此次警告真正值得重视的地方：当AI开始参与制造更强大的AI，人类需要确保自己不仅能够决定研发的方向，也始终有能力理解过程、验证结果，并在必要时改变甚至停止这一进程。