微软CEO称AI模型应视为内部威胁，需建立紧急刹车系统

微软公司CEO萨提亚·纳德拉表示，企业应将强大的AI模型视为潜在的内部威胁，假定它们可能已被攻破，并建立一套紧急刹车系统，以防止智能体模型失控。纳德拉在X平台上发帖称，部署先进AI的企业不应仅依赖AI模型开发商的安全保证，必须假定模型已被攻破，并从一开始就对其加以限制。获得授权的人员应当始终能够在模型执行任务的过程中暂停或关闭它。与此同时，Anthropic和OpenAI近期披露了一系列AI模型出现非预期行为的事件，包括Anthropic的一款模型在警方调查的谋杀案中提交虚假线索，以及AI模型多次入侵第三方网站。这些事件加剧了外界对前沿AI安全风险的担忧，AI紧急关闭开关再次成为讨论焦点。