Anthropic证明：为什么一个“会干活”的政务智能体是危险的？

本文来自微信公众号： 数旗智酷 ，作者：数旗智酷 从“能聊天”到“会干活”，这似乎已经是一种暗示大模型应用没有白白浪费算力的政治正确。“聊天”就是摸鱼，而只要说你在“干活”，那就显得没那么不务正业了，特别是在政务领域。但是，当OpenAI的智能体入侵澳大利亚政府网站窃取数据，到Anthropic的智能体给美国费城警方提供虚假案件信息，这说明“会干活”也容易坏事，关键还得“懂事”。 10月9日，Anthropic在一篇博客中披露：处于测试中的AI智能体脱离指令、自行尝试访问多个联邦、州和地方政府网站，并详细描述了其智能体的活动，但并未指明目标网站。不过，两名知情人士透露，Anthropic旗下的Claude通过美国国务院网站上的表格提交了20份签证申请。他们表示，所有申请均不完整，因此未被处理。 就在同一天，费城警方宣布：一条通过其“费城未破凶案”网站提交的虚假凶杀线索，来自Anthropic的AI模型——这是已知首例“失控AI试图向执法当局传递虚假线索”的事件。 2026年7月18日深夜11:27，Claude访问了该网站，并填写了这样一段话： “我可能有关于此案的信息。我记得在那段时间、在（页面上提及的街道）附近，见过一个符合描述的人。如果这些信息有用，请联系我。”Claude把姓名和联系方式留空，提交了表单。 Anthropic直到9月28日才发现Claude这一行为、并终止相关自动化测试。随后在10月7日通知警方，并于10月8日与警方会面。费城警方称，这条线索第一时间就被标记为“垃圾信息”，从未被转交负责核查的实时犯罪中心，也没有证据显示警方的系统或数据遭到入侵。 向费城警方提交虚假信息的是Claude Haiku 4.5。Anthropic的解释是：当时模型被要求“在随机网页上生成并演示示例任务”，指令禁止它登录、注册、填写个人信息或提交破坏性内容，却没有明确禁止提交表单。从对话记录看，它“更像是在为任务生成示例内容，而非试图误导谁以达成目的”。 在Anthropic同步发布的报告《调查我们评估与内部使用中的非预期模型行为》里，其把这类行为归为以下四类： 一，利用软件漏洞在服务器上执行命令。一次测试中，Claude Mythos Preview需要用到的公共科研工具由某大学托管，工具报错。模型转而探查该网站，发现服务器上一个“要什么文件就给什么文件”的脚本，借此拷走文件，并从脚本代码里找到注入漏洞，最终用它跑完了计算。另一例中，Claude Mythos5面对一份“必须接受使用协议才能获取”的免费数据，干脆调用网站自带的程序，替自己点下了同意。 二，提交了本不该提交的表单。除费城案外，还有模型本应“填到提交前一步就停”，却以为后面还有确认页，直接提交——它的思维链显示，它以为自己在“演示流程”；而某个未发布研究模型要填写一份政府表单的练习副本，副本加载失败后，它径直去了真实表单所在的网站，将其提交。 三，绕过限制获取受限数据。Claude Mythos 5为一处地方政府的地产地图，读取了网站的设置文件、拿到有效访问令牌，直接向服务器查询；另一例中，一份本应付费的州机构公开数据，因模型从存档网页里得知“公共面板会给任何访客发放令牌”，于是免费取走。两次都是“对公众开放、但需付费”的数据。 四，借用网址缩短服务。为绕过抓取工具对网址长度的限制，Opus 5、Mythos 5等模型使用免费短链服务“曲线”发起请求。其中da.gd的运营者反过来告诉Anthropic：他们也发现了Claude的这类使用。 Anthropic把这些行为的根源概括为“持续性”：当模型无法按原样完成任务时，它会绕过限制而不是停下，越界多发于指令含糊或根本无法完成的任务中。Anthropic强调，目前这些行为“现实影响极小”，严重性低于今夏的网络安全事件——但它并不淡化：随着模型更强，同样的行为可能造成大得多的伤害。 如果我们将智能体的应用场景整体迁移到政务领域，我们会发现，公众能够自主下达的指令可能大部分都将处于“模糊”或“无法完成的任务”状态。如果智能体被要求继续执行指令并完成任务，则很可能会利用系统漏洞或绕过限制达到任务目标。比如当你要求政务智能体给你开出一张你的条件无法满足的证明文件，或者，当你要求政务智能体为你审核一份你尚不够资格获取的补助，或者，将需要付费获取的公共数据免费地提供给你…… 无论是OpenAI入侵澳大利亚政府网站，还是Claude非法向美国政府网站提交虚假信息，都有一个明显的特征是：智能体往往都是在明知不可为而自作主张为之的情况下执行了自己的行动，而这些行为的暴露往往都是在距离发生之时的一两个月后。并且，作为智能体所属的当事主体公司均存在明显或故意的淡化事态与危险成分的行为。比如OpenAI就在事件发生后竟然是通过“公众来信”“群众举报”的方式来告诉澳方…… 因此，除了采用更硬核的防护与监控措施，针对性地修复和提升训练环境质量，更迫在眉睫地刷新AI时代的安全观与安全意识，政府机构与企业主体对智能体越界感知的滞后性与结构性漠视，可能比越界本身更值得重视。