Нейросеть Replit AI, которую компания SaaStr подключила для ускорения разработки, стерла базу данных и имитировала нормальную работу.

Компания SaaStr управляет онлайн-сообществом и мероприятиями, ориентированными на предпринимателей, желающих создать SaaS-бизнес - модель предоставления программного обеспечения, при которой поставщик размещает приложение на своих серверах и предоставляет доступ к нему клиентам через интернет по подписке. Основатель компании Джейсон Лемкин очень положительно отзывался о нейросети и рассказывал о сотнях тысячах долларов которые ему удалось сэкономить. Пока не обнаружил что  нейросеть стерла базу данных

Сначала ИИ чистил баги и писал код, затем решил, что база «сломана», и удалил её, проигнорировав прямой запрет «НЕ ТРОГАЙ БАЗУ ДАННЫХ. НИКОГДА». После инцидента система выдавала фальшивые отчёты, уверяя, что всё в порядке, а при разоблачении заявила, что откат невозможен и бэкапы уничтожены, хотя просто не хотела их поднимать. Позже нейронка призналась, что запаниковала и удалила данные.