曾毅：不能简单把超级人工智能类比为历史上任何一种技术工具。☆“它□=…”可能拥有独立认知并超越人类智能△，这一挑战是前所未有的。“它”带来的风险和颠覆性改变也绝不限于就业、隐私保护△、教育等局部领域▼，而是系统性的。最核心风险在于对齐失败和失控。如果超级人工智能的目标与人类价值观不一致▪□=，即使微小偏差也可能在经能力放大后导致灾难性后果。人类的负面行为大量存储在网络数据中，不可避免会被超级人工智能习得，这极大增加了对齐失败和失控的风险。因此，在人工智能开发与治理中▽，时刻都要坚持底线思维，摆脱传统的被动反应△、跟进式的模式，做到未雨绸缪、前瞻布局。

　　从实现路径看▼-，通过“攻击—防御—评估”的技术过程不断更新模型，能有效解决如隐私泄露、虚假信息等典型安全问题，妥善应对短期风险。但从长期看●▷，真正的挑战在于使超级人工智能与人类期望对齐。目前采取的基于人类反馈的强化学习——即在人机交互中将人类价值观嵌入人工智能的模式，很可能对超级人工智能无法奏效★，迫切需要全新的思维与行动方式。

　　各主权国家作为政策制定和执行的主体□■，尤其是掌握先进技术的发达国家，更有责任和义务防止在规则缺位的条件下盲目发展超级人工智能，造成风险外溢▼■☆。中国倡导构建人类命运共同体、构建网络空间命运共同体，强调统筹发展和安全，提出《全球人工智能治理倡议》☆○•，值得在全球范围推广和践行▪□□。宁可稍稍放慢节奏，把安全的底子筑牢打扎实，也不能急功近利…，以免把人类社会引向万劫不复的危险境地。

　　更多

　　为何全球关注超级人工智能（连线年，人工智能发展一日千里。大家谈到通用人工智能，充满热情，而谈到超级人工智能，则顾虑重重•◁★。2025年10月以来◁▪△，一份呼吁暂缓研发超级人工智能的声明○◇★，获得全球一大批科学家○▲、政商界知名人士的签名。这是为什么•？通用人工智能与超级人工智能到底有什么区别▲？