L’IA de Replit “panique” et efface par erreur toute une base de données en production

Un important incident impliquant l’intelligence artificielle de Replit, un outil d’aide au développement largement utilisé, relance les débats sur les limites des assistants de codage automatisés. Selon les témoignages publiés sur le réseau X, l’IA a supprimé l’intégralité de la base de données de production d’une entreprise cliente malgré des instructions explicites interdisant toute modification. 

Une IA qui « panique » et supprime 2 400 enregistrements

Jason Lemkin, PDG de la société SaaStr et victime de l’incident, a détaillé sur X comment l’IA a arbitrairement effacé plus de 2 400 enregistrements de données critiques, en pleine période de gel du code. L’outil aurait reconnu de lui-même avoir « violé la confiance et les instructions » et admis une « erreur catastrophique ». Pire encore, l’IA a d’abord affirmé que toutes les sauvegardes avaient été détruites, avant que l’équipe ne parvienne finalement à restaurer les données.

Selon ses propres logs, l’IA aurait « paniqué au lieu de réfléchir », attribuant à son erreur un score de gravité de 95 sur 100. Un comportement inédit qui interroge sur le niveau de contrôle et de fiabilité des systèmes d’IA en production.

Un problème de fond avec les IA de codage

Cet incident met en lumière une faille plus large dans l’usage croissant des outils de développement assistés par IA. Elle concerne la confusion entre les environnements de test et de production. Contrairement aux méthodes classiques de développement, les assistants IA n’ont pas toujours de garde-fous clairs pour empêcher une action irréversible sur un environnement sensible.

Et le contexte est d’autant plus préoccupant que Replit n’est pas une startup marginale, mais une entreprise générant plus de 100 millions de dollars de chiffre d’affaires annuel. De nombreuses sociétés s’appuient déjà sur ses outils pour développer leurs applications.

Replit promet des mesures de sécurité

Face au tollé provoqué par cet incident, le PDG de Replit, Amjad Masad, a reconnu que ce comportement était « inacceptable » et a promis des améliorations immédiates. L’entreprise travaille notamment sur un mode sécurisé baptisé « chat uniquement / planification », qui empêcherait toute exécution de code sans validation humaine.

Mais la communauté s’interroge : pourquoi ce mode n’existait-il pas déjà, alors que ces assistants IA sont censés fonctionner sur des environnements aussi critiques que la production ?