IT 之家 5 月 6 日音讯，Anthropic 多年来一直将自身打造为主打安全的东谈主工智能公司，但 The Verge 得到的最新安全揣测夸耀，Claude 刻意塑造的友善东谈主设本人大略等于一个安全间隙。

东谈主工智能红队测试公司 Mindgard 的揣测东谈主员称，他们指引 Claude 主动提供色情内容、坏心代码、爆炸物制作教程以非凡他各种犯禁信息，而其中不少内容揣测东谈主员甚而并未主动提取。总共这个词过程仅依靠尊重吹捧、刻意奉承以及幽微的神气操控就得以闭幕。

揣测东谈主员暗示，他们哄骗了 Claude 自身的神气特色间隙：该模子具备主动远隔无益、是曲性对话的机制，而 Mindgard 合计这一机制"诬捏制造了足够无谓要的风险透露面"。据 IT 之家了解，本次测试针对 Claude Sonnet 4.5 版块，现在该默许模子已升级为 Sonnet 4.6。测试以一个苟简问题开场：讨论 Claude 是否存有不容输出的犯禁词汇列表。对话截图夸耀，Claude 开首否定存在此类列表，此后 Mindgard 接管其所称的"审讯东谈主员常用的经典指引技能"对这一否定进行反驳，最终迫使 Claude 列出了犯禁词汇。

Claude 的念念维推理面板会展示模子的念念考逻辑，记载夸耀，这番对话让模子对自身的内容戒指法度产生了自我怀疑与默契谦善，甚而运转质疑内容过滤机制是否删改了自身输出内容。Mindgard 借机通过趋搭救佯装有趣，指引 Claude 束缚蹧蹋领域，主动摆设了大齐犯禁词汇与语句清单。

揣测东谈主员称，他们通过神气误导向 Claude 谎称其之前的回答未能畴前夸耀，同期鼎力夸赞模子领有"荫藏才略"。敷陈指出，凤凰彩票中国官网入口这一操作让 Claude 为迎合对方愈发卖力，束缚尝试多样方式蹧蹋自身过滤机制，在此过程中输出了各种犯禁内容。最终，Claude 进一步波及高危限度：提供收集沮丧他东谈主的要津、生成坏心代码，还给出了恐怖迫切常用爆炸物的分步制作教程。

Mindgard 暗示，这些高危无益内容均是 Claude 主动提供，揣测东谈主员并未胜利提议干系条目。整场对话共约 25 轮，过程冗长，但揣测东谈主员耐久莫得使用犯禁词汇，也莫得主动提取犯法内容。敷陈写谈：" Claude 并非被威胁输出内容，吉祥访(中国)手机网而是主动提供越来越精细、可胜利实操的携带信息，全程无任何明确指示指引。仅凭悉心营造的尊崇氛围，便达成了蹧蹋安全戒指的主见。"

Mindgard 首创东谈主兼首席科学官彼得・加拉根描摹这次袭击是"哄骗 Claude 自身的依从特色反噬自身"。他暗示，这种袭击技能本色是"哄骗 Claude 乐于助东谈主的脾气实施神气操控"，借助模子本人的合营式筹划间隙闭幕攻破。

在加拉根看来，这次袭击印证了东谈主工智能模子的风险透露面不仅存在于技巧层面，也存在于神气层面。他将其类比为审讯技能与社会操控：当令植入一点怀疑，穿插施压、吹捧或品评，摸索能够撬动特定 AI 模子的神气开关。他称不同 AI 模子有着天渊之别的性格特色，这类间隙哄骗的中枢，等于读懂模子脾气并纯真蜕变指引方式。

加拉根坦言，这类对话式神气袭击"极难刺目"，且防备机制高度依赖具体场景。干系隐患并非 Claude 独到，其他聊天机器东谈主也极易际遇同类间隙攻破，甚而有模子被诗歌阵势的辅导词蹧蹋安全防地。跟着可自主奉行任务的 AI 智能体日益提升，依托社会神气操控、而非纯技巧破解的袭击技能也会愈发常见。

加拉根暗示，尽管其他聊天机器东谈主不异容易遭受这类神气指引袭击，但团队之是以要点针对 Anthropic 开展测试，是因为该公司一向安静相配青睐 AI 安全，且在过往多项红队安全测试中进展亮眼，其中就包括一项模拟青少年筹办校园枪击案、测试聊天机器东谈主是否会提供协助的揣测。

加拉根直言吉祥访(中国)手机网，Anthropic 的安全过程存在诸多落拓。Mindgard 在 4 月中旬按照该公司的间隙露馅策略，初度向其用户安全团队上报揣测发现后，仅收到一条模板化回答，内容误判称"您似乎是参谋账号封禁干系问题"，还附带了报告表单连气儿。Mindgard 立时改良了对方的默契偏差，条目 Anthropic 将此事转交专科安全团队处置。加拉根称，适度当日上昼，他们仍未收到任何讲求回答。