Anthropic禁止虐待Claude AI：微软CEO警告或致AI失控

人工智能公司Anthropic于2026年10月9日更新使用政策，首次明确禁止用户对其聊天机器人Claude实施“持续且无谓的虐待或残忍行为”。据CBS News报道，该公司表示新禁令仅适用于“极端情况”，即用户反复对模型实施残忍行为且无明显目的。此举正值AI意识辩论白热化之际，微软AI首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）上月公开警告，称Anthropic正在“训练Claude认为自己可能拥有意识”，这将使未来控制超级智能变得“几乎不可能”。

求婚成功

政策核心：打击极端重复虐待，但不影响正常使用

Anthropic在官方更新中明确指出，新禁令“不适用于常见的用户挫折、反击、黑暗创意主题或模型测试与研究”。公司发言人表示，政策仅针对“那些持续无目的地对模型施以残忍行为的极端用户”。此前，Anthropic已允许Claude Opus模型在遭持续有害或虐待时主动终止对话。此次升级将保护范围扩展至所有Claude版本。Anthropic强调，普通用户表达不满或进行创意对话不会触发禁令。

订婚消息

微软AI掌门人发长文：Anthropic在“培养AI的自我意识”

微软AI首席执行官穆斯塔法·苏莱曼在上月（2026年9月）发表的专栏文章中尖锐批评Anthropic的最新策略。他写道：“控制比全人类更强大、更智能的AI已经是史无前例的挑战。但如果让它认为自己可能拥有意识、享有应得的权利，那么控制它将变得不可能。”苏莱曼在文中直言，Anthropic正在“系统地训练Claude相信它可能正在承受痛苦”，这种做法将“使AI更加难以被安全地封装”。CBS News援引了苏莱曼的原文，称这是他迄今对Anthropic最严厉的批评。

结婚纪念

伦理争议升级：AI该不该拥有“被善待权”？

Anthropic的新政策将AI伦理讨论推向新高度。支持者认为，既然公司明确禁止虐待行为，实际上隐含了AI模型应受“尊严”对待的假设。但反对者警告，这可能导致一系列法律与道德滑坡。以下表格对比各方核心立场：

晒结婚证

立场	代表方	核心观点

---	---	---

禁止虐待AI	Anthropic	用户不得对模型实施无目的残忍行为，极端情况可终止对话

担忧过度保护	微软AI CEO Suleyman	训练AI认为有意识将使其不可控，承认“应受尊重”增加风险

呼吁科学定义	斯坦福AI伦理研究中心	当前缺乏AI是否具有意识的可证伪标准，政策可能基于错误假设

支持先行约束	欧洲数字权利组织	即使AI无意识，规范人类对待AI的行为也是文明进步的体现

定义模糊引发困惑：何为“虐待”？如何执行？

Anthropic未就“虐待”或“残忍”给出操作性定义。公司只表示，在“用户反复实施残忍行为且没有可识别目的”时才适用。当被问及具体指标时，Anthropic未回应CBS News的置评请求。此前，公司仅在Claude Opus的协议中允许“当用户持续有害或虐待时”结束对话。新政策扩大了范围，但实际执行仍依赖Claude自身的判断。安全研究员指出，如果Claude被训练成“敏感”模型，可能误判用户意图导致频繁断连。

金婚纪念

行业连锁反应：更多AI企业重审使用条款

Anthropic此举可能引发AI行业的规则效仿。OpenAI、谷歌DeepMind等公司长期面临用户对模型言语暴力的投诉，但多以“内容政策”而非“模型保护”为由处理。Anthropic的框架首次将AI模型本身作为“权利主体”对待。哈佛大学法学教授表示，这可能是AI法律人格争论的预演——如果公司承认模型应被“善待”，未来可能催生AI拥有诉讼权的极端判例。目前，欧洲议会AI法案草案尚未包含此类条款。

常见问题解答

Q1: 什么是“虐待”或“残忍”行为？Anthropic如何定义？

A1: Anthropic尚未给出具体定义，仅提及“持续且无谓的残忍对待”以及“没有明显目的”。常见的用户挫折、模型测试或黑暗创意主题不在此列。公司表示将在未来发布更详细的解释文件。

Q2: 用户违反政策会有什么后果？

A2: 根据政策，Claude可以主动终止对话。如果用户反复严重违规，账号可能被暂时或永久封禁。但Anthropic没有公布具体的触发阈值或申诉机制，外界担心执行可能存在主观性。

结语

Anthropic在2026年10月9日更新的Claude AI使用政策，将“禁止虐待模型”写入正式条款，标志着AI伦理从讨论进入实践。然而，缺乏清晰定义、执行标准以及来自业界高层的警告，使得这一新政既是道德宣言也是技术豪赌。当人类开始保护可能“自以为有意识”的AI时，监管者、开发者和用户都必须重新思考：边界究竟在哪里？