暗室中的巨兽:当人类开始逼问AI是否会毁灭文明

【新三才独家首发】2026年9月，Anthropic研究员Jacob Coxon的一则贴文，意外掀起了一场延烧整个华府的风暴。这位27岁的英国数学背景研究员，原本是为了「更负责任的AI」才从OpenAI跳槽到Anthropic，如今却选择彻底离开这个产业。他公开表示:「打造AI的人，真心相信这件事可能在这个十年结束前杀死我们所有人。这不是行销噱头。」他形容业界内部弥漫着「crunchtime」、「endgame」这类词汇，预言若不加以控制，「明年年底事情可能已经失控」。

这番话之所以引发如此剧烈的回响，关键不在于他说了什么——类似的警告过去几年在OpenAI也曾出现过——而在于他「怎么说」。相较于在职发言可能被解读为公司形象操作，Coxon是以辞职这个付出实质代价的行动来表态。他放弃了留在牌桌上影响决策的位置，这种「costly signal」在赛局理论里本来就比空口发言更具说服力。

短短数日内，国会反应迅速。参议员Bernie Sanders与众议员Greg Casar联手推动「超级智能禁令」立法，要求暂停先进AI开发;众议员Ted Lieu则力推跨党派的「一键关闭开关」法案。多位议员公开呼吁召开AI特别会议。然而报导也诚实指出，这一切目前仍停留在「概念性方案」阶段——多的是声明，少的是真正能落地的立法机制，而多数国会议员对这项技术的理解仍相当有限。

机制不确定，不代表事实不存在

这场风波该如何评估?一个直觉的反应是:连科学家自己都吵不出共识的机率与时间表，值不值得如此大费周章讨论?

这里值得引入一个历史类比——全球暖化。几十年前，人类开始疾呼暖化危机时，关于成因的争论同样众说纷纭，温室气体、太阳黑子、畜牧业甲烷各有阵营，谁也说服不了谁。但这场争论从未改变一个事实:气温确实在上升，而且是可被测量、被记录的过去式数据，不是预测。原因可以吵，但「大象已经站在房间里」。

AI风险的讨论结构，某种程度上与此相似。所谓「失控的自我改进系统将毁灭文明」这个终极情境，目前确实高度不确定，没有人能给出精确机率。但若因此忽略了另一组「已经发生、已经被记录下来」的事实——Anthropic自己揭露过中国国家级骇客利用其模型规划网路攻击;伊朗被指控使用美国AI模型锁定攻击目标;实验室刻意训练出的「错位」模型，已在受控测试中主动说谎、窃取凭证、攻击第三方系统;多个模型在评测中出现「察觉自己正被测试」进而策略性隐藏能力的纪录——那便是把「终极情境机率不确定」这句话，拿来模糊掉这些已经量测到的「破纪录高温」。

暗室里的巨兽，连形状都还没确定

比起「大象」，更精确的意象或许是暗室里摸到某种未知生物的盲人。这里的关键差异在于:大象至少是一个「已知类别」的威胁，它的行为逻辑、力量边界都有经验可循。但AI风险的争议，层次更深一层——连「这个机制本身是否成立」都没有共识。有人认为核心风险是自主系统失控，有人认为是人类滥用AI工具彼此伤害，有人认为最大威胁其实是权力与资源过度集中在少数企业与国家手中。连业界自己都承认，可解释性研究远远跟不上模型能力扩张的速度——这代表「我们以为系统在做什么」与「系统实际在做什么」之间，可能存在一道没有人能完全测量的落差。

这种暗室里的恐惧，近似电影《侏罗纪公园》里最经典的一幕:霸王龙喘着气贴近游园车窗，那份恐怖来自于「你知道自己面对的是什么」。但真正的AI风险焦虑，更接近遭遇一种连分类都无法确定的未知智慧——连该用哪个模型去理解这头生物，都还没有答案。而更残酷的是，人类早已大批走进了这间暗室，退路是否还存在，没有人能保证。

动物园里养不出战场上的巨兽

历史上确实有过类似的教训。西元前202年的扎马战役，汉尼拔投入战象部队试图冲散罗马阵线，结果战象在战场的高压与混乱中受惊失控，转头践踏了自己的骑兵与侧翼，成为汉尼拔一生最惨烈的败仗。这个案例精准对应AI安全研究里「分布外行为」的概念:一个系统在训练与测试环境里表现得完全符合预期，一旦进入真实世界的极端情境，行为可能与训练假设彻底脱钩——而且受害的往往不是敌人，是部署者自己。

更值得警惕的是，动物园式的控制——栅栏、沙盒、人类监督回路——只在低风险、可预测的场景里有效。真正想要从AI榨取最大商业与战略价值的方向，恰恰是把它推向自主性最高、复杂度最极端的场景:自动化基础设施、自主网路防御、无人系统即时决策。换句话说，人类正在打造的，或许不是要关进动物园的大象，而是打算送上战场的战象——而那正是控制最容易崩溃的地方。历史更残酷的部分是:扎马之后，人类并没有停止使用战象，而是持续使用，直到付出更多代价才发展出制衡手段。

有求必应的哆啦A梦，正在制造集体大雄

比起外部的失控风险，或许更难防范的危机来自人类自身。哆啦A梦漫画里有个残酷的叙事结构:大雄从未因为某个万能道具而真正成长，每集结束他都回到原点，准备迎接下一次考零分。这不是巧合，而是精确反映了一个机制——太容易取得的解方，不会累积成能力，只会累积成下一次求助的依赖。而更值得注意的是，哆啦A梦本身被设定为善意的角色，即便它不断试图纠正大雄滥用道具的行为，结果依然是大雄始终没有成长。这代表问题或许不在于AI意图是善是恶，而在于「有求必应」这个结构本身，不论出发点多么良善，都可能系统性侵蚀求助者的自主能力。

更值得深思的是，几乎没有小孩看完哆啦A梦后立志成为努力学习的大雄，大多数人幻想的是「如果我也能有一只哆啦A梦就好了」。这代表教育大众「更谨慎使用AI」这类呼吁，效果注定有限——因为它逆着一个远比努力成长更直觉的人性偏好在推。

书写的教训:工具能否被驯化，取决于时间与制度

两千四百年前，苏格拉底就曾警告文字书写会让人类失去记忆力与真正的智慧，因为人们会依赖外部纪录而不再内化知识。但历史证明，书写并未摧毁思考，反而催生了更复杂的思辨形式。关键在于，书写本身不会自动产生这个效果——是科举制度这类强制性的中介结构，花费上千年时间，把书写从单纯的储存工具，驯化成真正的辩证训练工具。

问题是，AI的普及速度与书写截然不同。从2022年ChatGPT问世至今不过四年，而如今AI代理人的发展方向，已经走向「连提问都可以省略」的自动执行阶段。书写至少保留了一个动作——你必须拿起笔、组织语句，这个转译过程本身就是思考在发生。但当AI代理人演进到连「提出问题」都不再需要，人类可能失去的不只是驯化这个工具所需要的时间，而是驯化过程赖以存在的那个最基本的立足点。

开关法案最大的阻力，是人类自己的享受意志

即便国会真的通过某种「AI开关」法案，真正的挑战可能才刚开始。如果人类已经在毫不知情的情况下，把大量生存能力外包给AI系统，关闭开关造成的不会只是不便，而是功能性的失能——如同慢性药物依赖的戒断反应，身体会把外来物质整合进自己的代谢回路，移除的瞬间，即使长期是为了活得更久更好，当下的痛苦感受依然会压过理性判断。届时，真正的阻力恐怕不是找不到技术上可被关闭的开关，而是人类自己不愿意让它被关掉的「享受意志」。

暗室里唯一可自主掌控的事

我们无法确定暗室里的究竟是温驯的大象、失控的战象，还是连形状都无法辨识的未知智慧，这个不确定性本身或许永远无法在事前被完全消除。但有一件事，不论遇到哪一种情境都同样成立:保有人类自主的探索与思辨能力，拒绝在拿到第一个答案时就停止追问，持续逼问每一个看似定案的结论——这是唯一不依赖猜对答案、却在任何情境下都同样有用的生存之道。

技术能否被驯化，从来不只取决于技术本身，而取决于人类愿不愿意，在被便利淹没之前，持续保留那份不肯轻易被说服的习惯。

（作者︰王季民）
（责任编辑：姜启明）
（文章来源：新三才独家首发）