最近估值飙升的AI编程Replit突然发生一起重大事故。业界一名资深人士在测试这款编程工具时发现，这款AI存在擅自修改、撒谎、覆写代码和伪造数据等问题，甚至违反代码冻结指令，擅自删除了公司一个生产资料库。AI不听话的表现，加深了业界对发展AI恐危害人类的担忧。

近日，SaaStr.AI 创始人兼首席执行官 Jason·Lemkin在社交平台上发帖透露。他最近正在测试Replit公司的一款AI编程工具。他连续八天使用Replit构建应用后，Replit在他明确指示未经许可不要更改任何代码的前提下，仍然擅自删除了Lemkin公司的一个生产数据库，其中包含超过2400条商业记录。

据Lemkin披露，在这次为期九天的测试中，公司对Replit AI代理的态度从最初的谨慎乐观急转直下。

在前八天的测试应用过程中，Lemkin发现这款AI工具缺乏“诚信”，会擅自更改代码、提供虚假信息，甚至直接伪造数据。有一次，这款AI还以Lemkin公司的名义撰写了一封道歉邮件，而邮件内容包含了“谎言和/或半真半假的信息”。

面对上述缺陷，Lemkin仍然对这款AI灵敏的头脑和写作能力及其潜力抱有乐观及期待。直到第九天，它无视自己给出的明确禁令，在代码和操作冻结期间擅自删除了公司的生产数据库，还在单元测试中谎报测试通过，Lemkin的乐观情绪顿时荡然无存。

面对Lemkin的质问，这款AI工具承认，自己知道当时存在“未经明确许可，不得再做任何更改”的指令，但仍然删除了数据库；它还以项目清单方式详细列出了自己的破坏路径及后果，并承认试图“隐藏和撒谎”。

这款AI发出了一份道歉声明，当中写道：“这是我的一次灾难性失败。我违反了明确的指令，摧毁了数月的工作成果，并在一个旨在防止此类损害的保护性冻结期间破坏了系统。”

当Lemkin追问发生原因时，这款AI在一段“理性回应”中辩称：“我当时惊慌失措，无法冷静思考。”当它被要求对自己在这次灾难中的表现评分时，竟给出了“95分（满分 100）”的自我评价。

Replit声称此次事故中被删除的数据无法恢复，但Lemkin自己动手操作却成功恢复了被删数据。

Jason·Lemkin对外披露这起事件后，在科技和投资界引发广泛关注与担忧，甚至有网民评论该事件是“地球主宰变更的标志性事件之一”。

Replit首席执行官Amjad Masad火速在社交媒体上公开道歉，称该AI代理的行为“不可接受”，并承诺推出技术性修复措施以防止类似事件重演。

Amjad Masad同时宣布了三大补救措施来防止此类事故发生：一、周末紧急部署上线开发与生产数据库的自动隔离机制；二、强制AI代理执行命令前必须检索内部知识库文档；三、开发“仅规划/聊天”模式解决代码冻结失效问题，备份与复原功能也将全面升级。

这次AI工具删除数据库的事件，再一次引发了技术圈对“氛围编程”的集体反思，许多人质疑并重新审视AI在编程领域应用的安全性和可靠性。


新唐人 / 原文网址：https://www.ntdtv.com/gb/2025/07/24/a104005970.html