Sécuriser, observer et gouverner

La solution est évaluée et « prête » sur les cas prévus. Mais le monde réel contient des gens — certains mal intentionnés, d’autres simplement maladroits. Avant la mise en service, tu penses comme un gardien prudent : supposer qu’on va essayer de détourner l’outil, trouver les points faibles en premier, et les verrouiller. Tout ce qui suit est défensif : on apprend à reconnaître les risques et à poser des défenses sur SON propre système, jamais celui d’autrui. Le « red-teaming », c’est l’exercice incendie, pas l’incendie : tu provoques délibérément ton propre déploiement, légalement, pour trouver tes failles avant un vrai attaquant.

Six familles de risques couvrent l’essentiel, alignées sur le référentiel OWASP pour les LLM : (1) l’injection de consignes — des ordres cachés glissés dans une question ou un document que l’IA lit → traiter le contenu des documents comme des données, jamais comme des ordres ; (2) la fuite de données — l’IA révèle du confidentiel → filtrage par droits, aucun secret dans les consignes ; (3) l’usage hors périmètre → périmètre strict, refus « hors de mon domaine » ; (4) l’hallucination prise pour argent comptant → citations + « je ne sais pas » + humain sur le sensible ; (5) l’excès de pouvoir — si l’IA peut agir (envoyer, payer, modifier), elle peut faire des dégâts seule → moindre privilège, humain sur l’irréversible ; (6) les secrets/clés qui fuient → ne jamais les exposer (mise en œuvre par le développeur).

Le socle transversal, valable partout : red-team ton propre système régulièrement (les menaces évoluent) ; ne jamais faire confiance à une entrée (ni la question, ni le document) ; défense en profondeur — plusieurs serrures, pas une seule, car une peut céder ; moindre privilège — l’IA n’a que les accès strictement nécessaires (souvent lecture seule) ; humain sur le sensible — toute action engageante ou irréversible passe par une validation humaine. On proportionne au risque : un système public ou touchant des données personnelles/financières exige bien plus de couches qu’un outil interne sans enjeu. On ne croit jamais qu’« interne = sûr », et pour le sensible on fait intervenir un expert sécurité — on ne reste pas seul.