标签: DeepMind

1273名前沿AI公司员工突然联名,他们到底在担心什么?

过去几年,几乎每一家前沿AI公司都在同时讲两件事。一方面,它们不断发布更强的模型,投入更多算力,争夺用户、开发者和企业客户;另一方面,它们又不断提醒外界,越来越强的AI可能带来网络攻击、生物安全、就业冲击,甚至人类无法控制的风险。

这两件事放在一起,多少显得有些矛盾。一家公司一边把油门踩到底,一边告诉所有人前方可能有危险,很容易被理解为一种商业策略:既要抢占技术和市场的领先位置,又要把自己塑造成最了解风险、最有资格制定规则的人。

但最近出现的“Pacing the Frontier”声明,还是值得认真看一下。

截至7月30日,来自OpenAI、Anthropic、Google DeepMind、Meta等前沿AI公司的1273名员工签署了这份声明,其中包括OpenAI首席科学家Jakub Pachocki、Anthropic CEO Dario Amodei、Meta AI首席科学家Shengjia Zhao,以及Google DeepMind联合创始人Shane Legg等人。签署行为代表个人立场,并不等于相关公司的正式决定,但OpenAI和Anthropic随后也公开认可了这份声明所讨论的问题。

声明的内容并不长,也没有要求立即暂停AI研发。它真正提出的诉求,是希望美国政府支持一项国际行动,提前开发必要的技术和治理工具,让人类在有需要的时候,可以有意识地调节自动化AI研发的速度。

这份声明中最值得注意的,其实不是AI可能失控,而是它承认了一件过去很少被前沿AI公司公开说得如此直白的事情:每一家公司和每一个国家,都承受着巨大的竞争压力,没有谁敢单方面放慢速度。

这可能才是当前AI发展中最现实的风险。

一、他们担心的,不只是下一代模型更强

“Pacing the Frontier”讨论的重点,不是ChatGPT、Claude或者Gemini下一次更新会提高多少分,也不是模型能不能写出更完整的代码,而是AI是否即将具备自动化AI研究的能力。

现在的AI已经可以帮助研究人员写代码、查阅论文、分析实验数据、寻找程序错误,但整个研发过程仍然主要由人来决定。人类研究人员提出方向、设计实验、组织训练、判断结果,再决定下一步应该做什么。

如果未来的AI不仅能够执行这些工作,还可以独立提出研究假设、设计实验、修改训练方法、分析失败原因,并根据结果继续改进下一代模型,AI研发的速度就可能发生完全不同的变化。更强的AI帮助开发更强的AI,新模型又进一步提高研发效率,最终形成一个不断加速的反馈循环。

没有人能够准确判断这个过程会以怎样的速度发生,甚至不能确定它一定会发生。声明本身对此也保持了克制,只是说世界领先的AI公司认为,它们“可能已经接近”自动化AI研究,而这种自动化究竟会把AI进步加速多少,目前很难预测。

问题正在这里。假如AI能力仍然按照现在的节奏发展,人类社会至少还有时间适应。政府可以制定规则,企业可以改造业务,学校可以调整教育内容,安全研究人员也可以慢慢寻找模型的问题。但如果研发周期突然从几年缩短到几个月,再从几个月缩短到几周,社会理解和管理技术的速度就可能跟不上技术本身。

这并不意味着AI一定会突然产生意识,或者某一天自行接管人类社会。更加现实的情况是,新的能力不断出现,但人类来不及验证它们是否安全,也来不及建立相应的监督制度。在旧问题尚未解决之前,下一代更强的系统已经开始训练和部署。

二、没有一家AI公司敢自己慢下来

如果所有前沿AI公司都已经意识到这种风险,最直接的办法似乎很简单:大家把研发速度放慢一点,留出更多时间研究安全问题。

但现实并不是这样运转的。

对于OpenAI、Anthropic、Google和Meta来说,模型能力不只是一个科研指标,它还关系到企业客户、订阅收入、云计算业务、开发者生态、资本估值和人才流动。一家公司推迟几个月发布新模型,竞争对手不会因此一起等待。它获得的可能不是更多安全时间,而是用户流失、收入下降,以及技术领先地位的丧失。

国家之间也是如此。AI已经被美国、中国和其他国家视为影响经济、军事、科研和产业竞争力的基础技术。即使一个国家认为AI发展过快可能带来风险,也很难在无法确认其他国家是否会同时减速的情况下,主动限制自己的企业和研究机构。

这形成了一个非常典型的集体行动困境:几乎所有参与者都知道继续加速可能存在危险,但每一个参与者又都认为,自己不能成为唯一放慢速度的人。最后的结果,是所有人只能继续向前。

过去几年,AI公司发布了许多安全框架,建立了红队测试、能力评估和模型发布标准,这些工作当然有价值。但它们始终存在一个隐含前提:安全措施不能严重影响公司的竞争力。一旦安全要求与产品发布时间、市场份额和融资预期发生直接冲突,自我约束究竟能够坚持到什么程度,很难只依赖公司的承诺。

所以,“Pacing the Frontier”才没有要求某一家公司率先暂停,而是把问题交给了政府和国际协调机制。因为签署者显然已经认识到,仅靠企业自愿,很难解决一个由竞争本身造成的问题。

三、真正失去控制的,可能是竞赛机制

我们通常说AI失控,想到的是一个拥有自主目标的超级智能系统。它拒绝人类命令,突破技术限制,开始按照自己的方式采取行动。

但在这样的系统真正出现之前,另一种失控可能已经发生了。

所谓控制,并不只是人类能不能关闭一台服务器,也包括我们能不能决定技术应该以什么速度发展。当所有参与者都知道速度过快可能有风险,却没有任何一个参与者能够主动改变整体节奏时,这场竞赛实际上已经拥有了自己的惯性。

今天的AI发展,表面上是由OpenAI、Anthropic、Google、Meta等公司推动的,但这些公司同样被资本、市场和国家竞争推动着。CEO可以决定某个模型具体在哪一天发布,却很难决定公司在未来两年不再追求更强的模型。因为一旦它停下来,竞争对手就会占据它留下的位置。

每家公司都在做自己的理性选择,最终却可能形成一个所有人都无法接受的结果。这个问题并不神秘,在金融、军备、环境和互联网平台竞争中都曾经出现过。不同之处只在于,AI能力可能提高得更快,影响的范围也更广,而我们现在甚至还没有确定应该在什么情况下减速。

从这个角度看,AI真正失控的,可能首先不是模型,而是围绕模型形成的商业和国家竞赛。模型还在数据中心里接受人类指令,但决定它发展速度的机制,已经不完全服从任何一个人的意志。

四、“Pacing”不是停止,而是保留争取时间的能力

“Pacing the Frontier”容易被理解为要求停止AI发展,但这并不是声明提出的主张。

它没有要求立即暂停模型训练,没有设定半年或一年的期限,也没有反对AI商业化和普通应用。它提出的是一种更有限的能力:当自动化AI研发开始显著加速,或者某些危险能力突然出现时,产业、政府和社会应该能够争取时间,用来分析风险、加强安全措施和建立监督机制。

这与永远停止技术进步是两回事。

一辆汽车不能只有油门,也需要刹车。刹车的存在并不意味着汽车不应该向前,而是驾驶者需要保留调整速度的能力。真正危险的情况,不是汽车开得快,而是驾驶者发现前方出现障碍时,才意识到车上从来没有安装刹车。

现在的问题是,AI行业还没有这样的机制。

我们不知道应该用什么指标判断自动化AI研究已经出现,也不知道哪些能力达到什么程度后需要减速。即使一家实验室发现了风险,又应该如何通知其他公司,怎样确认竞争对手会采取同样的行动,如何避免有人表面暂停、实际继续研发,这些都缺少可执行的答案。

声明要求建设的技术和治理工具,理论上就是为了解决这些问题,包括更可靠的能力评估、前沿模型监测、跨公司信息共享、触发减速的标准,以及国际之间的验证机制。OpenAI回应称,未来AI研发加速到一定程度后,世界可能确实需要调节AI进步的速度;Anthropic也表示,其关于递归式自我改进的研究显示,社会需要提前准备相关工具。

因此,这份声明更像是在提醒政府:不要等到风险真正发生以后,才开始讨论如何争取时间。

五、真正困难的问题,是谁有权踩下刹车

我认同人类应该保留让AI减速的能力,但这并不意味着“Pacing the Frontier”已经解决了问题。相反,它只是把最困难的问题提了出来,却没有给出答案。

首先,谁来定义什么是前沿AI?

如果按照训练算力划分,大公司最容易被纳入监管,但一些使用更高效方法训练的模型可能被遗漏;如果按照模型能力划分,又需要一套稳定、可信而且无法被针对性优化的评估标准。今天的模型在不同任务上的能力并不均衡,很难用一个分数决定它是否已经危险。

其次,谁来决定什么时候需要减速?

这个决定不可能只交给AI公司。企业既是风险信息的主要掌握者,也是监管规则的直接利益相关者。它们当然最了解模型,但也有动机夸大某些竞争对手的风险,或者把只有自己能够承担的合规成本变成行业门槛。

如果未来的前沿AI研发需要复杂的许可证、安全团队、独立评估和高额合规成本,OpenAI、Google和Meta可能仍然有能力继续训练模型,规模较小的公司、大学和开放模型团队却可能被挡在门外。最终,一套以安全名义建立的制度,反而帮助今天的领先者把技术优势固定下来。

这并不是说这些签署者的动机一定是维护垄断。1273名员工来自不同公司,许多人的担忧显然是真实的,而且他们的签名只代表个人观点。问题在于,任何治理方案都会重新分配技术和市场权力,不能因为它使用了“安全”这个正确的理由,就不再讨论谁从中受益。

还有一个更现实的问题:声明请求美国政府支持国际行动,但美国推动的“国际规则”,很难完全脱离美国自身的产业和国家利益。如果治理工具最终主要限制美国以外的企业,或者被转化为芯片、算力和模型能力的出口管制,那么它就不只是AI安全机制,也会成为技术竞争的工具。

人类需要刹车,但刹车不能只掌握在领跑者手中。否则,决定AI发展速度的权力,可能从市场竞争转移到少数公司与政府组成的封闭体系里,普通企业、开发者和社会公众仍然没有真正的参与权。

六、AI不能只有加速这一个选项

我一直认为,AI真正重要的价值,不是生成更多营销文案、替代更多初级工作,而是帮助人类解决过去无法解决的科学问题,包括疾病治疗、新药研发、能源、材料和气候变化。

从这个角度看,我并不赞成因为不确定的风险,就让AI停止发展。技术进步本身不是问题,缺少选择才是问题。

今天的AI竞赛有一种越来越明显的倾向:更强的模型、更大的算力、更快的发布速度,似乎天然就是正确方向。公司担心落后于竞争对手,国家担心失去战略优势,投资者又要求更快看到回报,所有力量最终都指向同一个选择——继续加速。

但一个真正成熟的技术治理体系,不应该只有这一个选项。

我们应该能够在AI帮助人类解决科学和医疗问题时加速投入,也应该能够在某种能力突然跨过风险边界时停下来观察;可以鼓励企业竞争,也要让不同企业在发现共同风险时拥有协调的机制;可以利用前沿公司的技术能力制定规则,但不能把规则完全交给这些公司自己决定。

“Pacing the Frontier”最重要的意义,并不是1273名AI从业者预测了一个一定会到来的灾难,而是他们从这场竞赛内部承认,单靠任何一家公司都无法解决速度问题。

当所有人都想慢一点,却没有人敢先慢下来时,风险已经不只是来自技术本身。

真正值得警惕的,也许不是某一天AI突然拒绝人类控制,而是在人类仍然控制着每一台机器的时候,我们已经失去了控制整个方向和速度的能力。

梁文锋想做AGI,Hassabis已经让我们看见AGI之后

昨天我写了一篇《梁文锋想的是AGI,我更关心AGI之后的世界》,起因是最近梁文锋在一次交流中,再次谈到了DeepSeek的长期目标,相比短期的收入和利润,他更希望把DeepSeek做成一个围绕AGI长期投入的技术组织。其实从DeepSeek过去几年的发展来看,这个方向一直比较明确,他们在模型架构、训练效率、推理能力和开源上投入了大量资源,商业化的节奏反而相对克制。对于梁文锋来说,AGI显然不是一个用来讲故事的概念,而是他真正想长期去做的事情。

我当然也期待AGI,但我昨天真正想讨论的问题,并不是AGI究竟什么时候能够实现,而是如果有一天真的实现了,然后呢?今天全世界投入巨资建设数据中心,购买GPU,训练越来越强大的模型,OpenAI、Google、Anthropic、DeepSeek不断刷新各种Benchmark,我们也每天讨论哪个模型更聪明、哪个模型写代码更强、哪个模型更便宜,这些竞争当然都非常重要,因为模型能力是所有AI应用的基础。但如果花费如此巨大的资源,最后只是为了让AI帮我们写更多代码、制作更多PPT、生成更多图片和视频,或者让一家企业原来需要10个人完成的事情变成5个人完成,我总觉得还是把人工智能的意义想小了。

写完那篇文章以后,我想到了另外一个人,Demis Hassabis(德米斯·哈萨比斯)。

梁文锋和Hassabis其实是两个背景完全不同的人。梁文锋学的是信息与通信工程,后来做量化投资,创办幻方,再成立DeepSeek;Hassabis小时候是国际象棋高手,后来做电子游戏,学习计算机科学,又去研究神经科学,最后创办DeepMind。他既是计算机科学家,又是神经科学家和游戏设计师,看起来跨度很大,但仔细看他的经历,会发现其实一直围绕着同一个问题,就是智能到底是什么,人类的大脑为什么会产生智能,以及我们能不能用计算机创造出类似甚至超过人类的智能。

DeepMind最早让AI玩Atari游戏,后来又做AlphaGo,并不是因为游戏本身有多大的商业价值,而是因为游戏是研究智能非常好的实验环境,需要学习、推理、规划、决策,还要在复杂环境里不断根据反馈调整策略。2016年AlphaGo击败李世石,让全世界第一次直观感受到人工智能已经可以在一个被认为高度依赖人类直觉和经验的领域超过顶尖人类,但如果Hassabis只是做出了一个世界上最强的围棋程序,我觉得他的故事也不会有今天这么有意思。真正让我觉得Hassabis与很多AI创业者不同的地方,是他并没有一直停留在证明“AI比人聪明”这件事情上,而是开始尝试把这种新的智能,用到人类真正没有解决的问题上,后来就有了AlphaFold。

从AlphaGo到AlphaFold

蛋白质是构成生命的基础之一,由氨基酸连接形成,但同样一条氨基酸链会折叠形成复杂的三维结构,而结构又决定了蛋白质的功能。过去科学家要确定蛋白质的三维结构,通常需要借助X射线晶体学、冷冻电镜等实验手段,整个过程复杂、昂贵而且耗时,如何仅仅根据氨基酸序列准确预测蛋白质最终的三维结构,也因此成为困扰生物学界几十年的重要难题。

2020年,AlphaFold 2在CASP蛋白质结构预测竞赛中取得突破性成果,后来DeepMind又预测了几乎所有科学界已知蛋白质的结构,并将超过2亿个预测结构提供给科研人员使用。2024年,Hassabis和John Jumper因为AlphaFold在蛋白质结构预测上的贡献获得诺贝尔化学奖。从严格的科学意义上说,AlphaFold并不是把“蛋白质折叠”所有问题都彻底解决了,因为真实生命系统中的蛋白质并不是一个静止的三维模型,它还会发生动态变化,与其他蛋白质、DNA、RNA、小分子以及复杂细胞环境发生相互作用,但AlphaFold确实解决了其中一个长期存在的核心问题,就是从氨基酸序列高精度预测蛋白质结构,并且第一次把这种能力大规模提供给全球科学家。

我觉得AlphaFold这件事情特别值得思考,因为它和我们今天最熟悉的生成式AI有很大的不同。ChatGPT帮我们写文章,Codex帮我们写代码,Midjourney帮我们画图,本质上都是让机器去完成一件原来人类已经会做的事情,只是做得越来越快、越来越便宜。这样的生产力提升当然非常重要,工业革命以来几乎每一次技术进步,首先带来的都是效率提高和成本下降。但AlphaFold往前走了一步,它不是简单地替代一个原来负责预测蛋白质结构的人,而是在帮助整个科学界突破一个长期存在的知识边界,这也是为什么我觉得,从AlphaGo到AlphaFold的变化,可能比AlphaGo击败李世石本身更有意义。

过去两年,我们讨论AI时经常围绕一个问题,就是AI会替代多少工作。程序员会不会被替代,设计师会不会被替代,客服、律师、医生会不会被替代,企业用了AI以后是不是能够裁掉更多员工。我自己一直在重度使用AI Coding,也确实感受到这种生产力变化,以前一个人很难在很短时间里完成一款完整的软件产品,现在借助Codex、Claude Code这样的工具,一个人可以完成过去需要几个人甚至一个小团队才能完成的工作。但从更长远的角度看,如果AI的最大价值只是把原来10个人做的事情变成5个人做,那么它仍然主要是在优化已有的生产方式,并没有真正扩大人类能够做什么。

科学领域恰恰不同,很多科学问题几十年没有解决,并不是科学家不够聪明,而是需要计算和验证的可能性实在太多,人的时间、实验成本和认知能力都有极限。一个化学空间可能存在数量巨大的潜在分子,一种材料可能有无数种元素和结构组合,一个科学家一生能够提出和验证的假设终究有限,如果AI可以在这些巨大的可能空间里先进行计算、模拟和筛选,再帮助科学家找到最值得验证的方向,那么它提高的就不只是某一个科学家的工作效率,而有可能改变科学发现本身的速度。

我更关心AI能不能解决疾病

昨天谈AGI的时候,我特别提到了疾病,因为相比AI未来能不能帮我们把工作效率再提高10倍,我其实更关心它能不能解决癌症、阿尔茨海默病、罕见病这些人类长期没有解决的问题,甚至进一步帮助我们理解衰老。

现代医学已经发展了几百年,我们今天拥有CT、核磁共振、基因测序、靶向药、免疫治疗等过去无法想象的技术,但面对很多疾病仍然非常无力。癌症仍然是人类主要的死亡原因之一,阿尔茨海默病还没有真正意义上的治愈方法,大量罕见病因为患者数量少、研发成本高,长期缺乏有效药物,而新药研发本身又是一个周期很长、成本很高、失败率也很高的过程,从发现靶点、筛选化合物,到临床前研究,再到一期、二期、三期临床试验,任何一个环节失败,前面的投入都可能归零。

AlphaFold当然不会因为预测出了蛋白质结构,第二天就治愈癌症,但它展示了一种完全不同的可能性,就是让AI逐渐进入科学发现和药物研发的过程。AlphaFold 3已经进一步扩展到蛋白质与DNA、RNA、小分子等生物分子结构和相互作用的预测,Hassabis后来创办Isomorphic Labs,也是希望利用AI重新设计药物发现过程。药物研发不会因为AI出现就突然变成一件简单的事情,临床试验也不可能被模型完全替代,但如果原来需要大量实验才能筛选的方向,可以先通过AI进行计算和预测,如果原来需要几年才能理解的蛋白质结构和相互作用,可以更快获得线索,那么整个科学研究的试错空间就有可能被大幅压缩。

所以有人会说,AI可能让药物研发进入“超速时代”,我觉得这里真正值得期待的甚至不只是把一个原本需要10年的药物研发过程缩短到5年,而是让一些过去根本没有条件研究的问题第一次变得可以研究。很多罕见病并不是科学上完全没有价值,而是患者太少,市场太小,按照传统药物研发的成本结构,很难形成足够的商业回报;很多复杂疾病也不是没有人研究,而是在巨大的生物学可能空间里寻找有效靶点和药物,就像在一个几乎无限大的迷宫里不断试错。如果AI能够把这种搜索效率提高几个数量级,那么过去因为成本、时间和复杂度而无法推进的研究,也可能出现新的机会。

这也是我真正期待AGI的原因。我并不在意AGI出现以后,它是不是能够把一篇文章写得比我更好,或者一个程序员一天的工作缩短到一个小时,这些变化大概率都会发生,但它们还不是我认为最重要的事情。我更希望看到的是,当机器拥有远超过今天的推理、计算和研究能力以后,它能不能帮助科学家找到一种新的癌症治疗方法,能不能理解阿尔茨海默病真正的发病机制,能不能为一种全球只有几千名患者的罕见病设计药物,甚至有一天真正理解生命为什么衰老,以及衰老是否可以被干预。

梁文锋与Hassabis

从这个角度再来看梁文锋和Hassabis,我觉得两个人身上有一个很相似的地方,就是他们想做的事情都比较远,也不太容易用短期的商业回报去衡量。

商业社会天然喜欢确定性,做一个App可以看下载量和付费率,做SaaS可以看ARR,做电商可以看GMV,投资一个项目最好几年以后就能够看到回报。但真正的基础研究往往不是这样,DeepMind最初研究围棋的时候,很难计算AlphaGo未来能够带来多少收入,做AlphaFold的时候,也不是因为突然发现蛋白质结构预测是一个巨大的互联网市场。Hassabis真正想做的是研究智能,然后利用智能去解决科学问题;梁文锋和DeepSeek今天主要还在做另外一端的事情,就是如何把智能本身继续往前推进,研究模型架构、训练效率、推理能力以及通往AGI的路径。

当然,两个人所处的阶段并不一样,梁文锋现在更多是在寻找如何实现AGI,而Hassabis同样一直把AGI作为长期目标,只不过从AlphaFold开始,他已经提前展示了另外一种可能,就是我们并不一定非要等到某一天宣布“AGI正式实现”,才开始让AI解决科学问题。事实上,今天各种专用AI系统已经开始进入生物学、材料、数学、气象等领域,随着模型能力继续提高,通用模型和专业科学模型之间的边界也可能越来越模糊。

中国未来当然需要更强的基础模型,需要自己的GPT、Claude和Gemini,需要DeepSeek这样的公司,也需要芯片、算力、Agent和完整的AI产业链。今天大家讨论Benchmark、模型价格和Coding能力,也都有现实意义,因为如果基础模型本身不够强,后面的应用也无从谈起。但模型终究只是一种基础能力,就像望远镜真正的价值不是口径有多大,而是我们最终用它看到了什么,如果未来中国AI竞争一直停留在模型排行榜高几分、上下文增加多少Token、API价格又降低多少,那么仍然只是完成了第一阶段。

我更期待的是有一天,中国也能够出现自己的AlphaFold,用AI去发现新的药物,研究癌症和罕见病,寻找更好的电池和材料,解决能源问题,帮助数学家、物理学家和生物学家去研究那些困扰人类几十年甚至几百年的问题。当越来越多这样的成果出现以后,AI才真正不只是一个新的互联网产业,而会逐渐成为科研本身的一种基础工具。

AGI之后,我们到底想要什么

回顾人类过去几百年的技术进步,每一次工业革命其实都在扩大人的能力,蒸汽机和电力扩大了人的体力,汽车和飞机扩大了人的移动范围,计算机扩大了计算能力,互联网让信息的生产和传播成本大幅下降。我觉得AI可能带来的一个更深层变化,是扩大人类能够解决的问题范围,以前一个问题太复杂,人脑算不过来,一个实验组合太多,人类试不过来,一个科学家一生能够验证的假设太少,而AI理论上可以在这些地方不断突破人的限制。

所以我并不太纠结AGI究竟是在2028年、2030年还是更晚出现,也不太在意最终是哪家公司第一个宣布实现了AGI,因为无论这个时间点什么时候到来,真正重要的问题始终是,我们最终准备拿这种前所未有的智能去做什么。

如果只是生成更多广告、短视频、营销文案,让互联网里的内容再增加一百倍,或者让企业进一步降低人力成本,当然也算是一种技术进步,但我觉得远远不够。人类还有太多真正困难的问题没有解决,疾病、衰老、能源、材料、气候、基础科学,包括我们对生命和宇宙本身的理解,这些问题中的任何一个如果因为AI取得重大突破,产生的价值可能都远远超过今天整个生成式AI市场。

梁文锋还在寻找通往AGI的路,Hassabis同样在追求AGI,但AlphaFold已经让我们提前看到了一点拥有更强智能之后可能发生的事情。AlphaFold并不是AGI,却证明了AI的价值并不只是把人类已经会做的事情做得更快,也可以帮助我们进入过去很难进入的未知领域。

如果很多年以后回头看今天的AI革命,我们大概不会记得某个模型曾经在某个Benchmark上领先了几分,也不会记得哪家公司曾经拥有最长的上下文窗口,但如果AI最终帮助人类治愈了某些过去无法治愈的疾病,解决了能源问题,延长了健康寿命,或者让我们理解了一些过去几百年都没有理解的科学问题,这些事情一定会被记住。

我想,这才是AGI真正值得我们投入如此巨大资源去追求的原因。