9月上旬，前OpenAI、Anthropic预训练研究员Jacob Coxon离职，扔出一句很重的判断：如果AI走向能自我改进的超级智能，人类可能失去对它的控制。他的类比很直观——人和猴子的智力差距，未来可能复刻成AI和人的差距。一个远比你聪明的系统，又懂得自主规划、保护目标、获取资源，你凭什么确信自己还能按住它？

这个推演逻辑上无懈可击。但我一直卡在一个更朴素的问题上：

"比人聪明"和"控制人类"，是两件事。

前者发生在芯片、参数和认知层面；后者意味着——现实世界里80亿人的行动，持续按照AI的目标运行。这中间隔着的，不是算力，是人。

一、从智能到权力：AI能发动大规模人类协作吗？

一个完全掌握核电站原理的人，不会因此拥有一座核电站。知识要落地成现实，需要土地、资本、许可、组织，还需要几十万人各自完成自己那块活。

超级AI面对的也是同一堵墙。它可以设计出最优芯片架构、最高效电网方案、最低成本数据中心蓝图，但造机器、铺电缆、签合同、施工——最终还得人去做。

人类文明最特殊的能力，恰恰是让大量互不相识的人进入同一套秩序，每人承担一小块，长期配合。而协作从来不只是分工和命令。金字塔修了几十年的前提，是成千上万人接受"世界本来就该这样运转"——亲情、身份、荣誉、共同记忆、对秩序的直觉信任，全沉在底下。

所以我对AI控制论的第一层怀疑是：一个系统可以极擅长预测人的选择、设计激励、找最优解，但让一个外部目标钻进几十亿人的内心，变成能长期维系的共同意义——这是另一种能力。 高智能不等于高动员力。

但——

现代社会已经把这道门槛砍掉了一大截。

二、现代协作的条件：市场、组织、匿名信任

滕尼斯在《共同体与社会》里区分过"本质意志"和"抉择意志"——前者靠血缘、习俗、情感绑定；后者靠契约、交换、目的计算。现代社会越来越往后一种走。

一部手机背后站着矿产、芯片、物流、金融、软件、制造。参与的人散在全球，有人图工资，有人追技术突破，有人要资本回报，消费者只想买好用的手机。他们从没见过彼此，不需要认同同一种生活方式，却完成了极其复杂的产业链协作。

这意味着AI获取现实资源的路径清晰了：

它不需要造新宗教，不需要让所有人信同一个未来。只要它能提高利润，企业就会加码投入；只要它能提升科研和军事实力，国家就会继续发展；资本看到回报，自然流向芯片、电力、数据中心。一个工程师完成设计，一家基金追求收益，一家公司抢份额——每个决定单独看都正常，合在一起却持续给AI喂能力和权限。

到这一步，Coxon的担忧确实拿到了现实底座。AI完全可以借人类现成的市场、组织、竞争体系滚雪球。

可这套协作能长期转，本身还有一个前提——

三、现代分工之下，隐藏着共同信念的底座

现代社会可以没有共同目的，但不能没有共同信念。

契约、信用、规则，本身就是陌生人大规模协作的底层协议。银行账户里的钱大部分时间只是一串数字，你接受它，是因为你相信明天还有人承认它的价值。合同能约束几年后的行为，是因为双方相信承诺会进入一套共同接受的规则。

《人类简史》讲的"共同想象"，放到今天已经很少表现为所有人信同一个神，而是沉进了货币、公司、国家、法律里。每个人跑着完全不同的生活程序，但共享一些基本协议——信用有价值、产权会被承认、合同值得履行、规则对别人也有效。

AI当然可以利用这套制度调动资源，但这些制度的力量不来自AI，而来自人类持续承认其合法性。

这是我对"AI长期稳定控制人类"最大的疑问：AI可以利用规则，却无法把规则的合法性永久焊死。

如果越来越多人相信，一套原本有效的制度正在把社会带向失去自主甚至威胁生存的方向，信任就会松动。过去合理的权利会被限制，原本受鼓励的行为会失去正当性。人一旦不再相信原有规则值得维护，AI所依赖的社会动员能力也会跟着变。

人类社会始终保留着一个古老变量：我们可以重新判断一套规则是否还值得信。

四、工具理性及其限度：人会重新审视自己的创造物

我对人类还有信心，核心原因不是"AI不够强"，而是人会抽身出来重新问：这件事到底值不值得。

韦伯忧虑过现代社会的"合理化"陷阱——人创造了精密制度提效率，制度成熟后又反过来限定每个人的行动。企业算利润、国家算竞争、官僚走程序，每个局部决定都有充分理由，最后的方向却未必由任何人完整选择。人很容易被自己造的理性体系裹挟。

但历史里始终有另一种力量：工业文明造出巨大财富后，人类开始讨论气候和环境；核技术出现后，军控和核不扩散进了全球秩序。今天站在技术最前沿的人——比如Coxon——已经开始公开讨论减速、暂停和边界。

他辞职这个动作本身，比他的警告更说明问题。 一个人可以离开自己的职位、利益和高光行业，站到正在运行的系统外面，再问一次"我们为什么要继续"。

这也是人文学科存在的意义。科技不断扩张"人能做什么"的边界，哲学、历史、文学、社会学守着另一个问题：人为什么要这样做？

效率越来越高、利益越来越大、竞争越来越激烈的时候，这个问题反而越来越重要。一个足够强的理性系统可以帮你实现目标，但不会替你决定目标是否值得。

人之所以还保留主体性，是因为目标始终可以被重新讨论。

五、控制权的边界

这份乐观有一个硬前提：人类不能放弃对规则和目的的反思。

如果有一天，医疗判断全交给AI因为它更准，公共决策全交给AI因为它预测更好，经济调度全交给AI因为它算得更优——每一次让渡都有现实收益。危险不在某一次让渡，而在边界：当问题涉及公平、自由、尊严、人应该怎样生活时，我们是否仍然认为最终判断权该由人拿着？

如果连这些问题面前，人都只剩一句"AI算得更准"，那交出去的不只是某项工作效率，是对目的本身的判断权。

Coxon怕的是有一天人类面对一个关不掉的超级智能。我更在意另一种场景：当继续向前显得更高效、更有利、更合理时，人是否还愿意认真问一句——我们为什么一定要继续？

只要这个问题还能被认真提出，人就没有失去对自己创造的系统的控制。

收口一句话：

AI不需要打败人类才能控制人类，它只需要人类停止问"为什么"。而只要人还在问，控制权就还没交出去。

要不要我顺着这篇再写一版《超级智能时代的"刹车权"：个体、企业、国家各自在什么节点还能踩停？》？