Buddy
Les équipes de maintenance perdaient du temps à chercher dans l’historique et la documentation. Buddy répond en langage courant, recoupe les sources et cite chaque affirmation. Je l’ai conçu, construit et mis en production seul.
Le problème
Dans un atelier, l’information existe presque toujours. Elle est simplement éclatée : historique des interventions, documentation technique, référentiels internes, chacun avec son outil et sa façon de chercher. Trouver la bonne réponse demande de savoir où regarder, et avec quels mots.
Un assistant qui invente est pire que pas d’assistant du tout. Une réponse sans source ne vaut guère mieux : personne ne valide une intervention sur la foi d’un paragraphe sorti de nulle part. Le cahier des charges tenait donc en une ligne : chaque phrase doit pouvoir être vérifiée.
L’architecture
Les documents sont découpés, enrichis de métadonnées et indexés deux fois : une fois par le sens, une fois par les mots exacts. L’agent interroge cet index avec ses propres outils, reçoit les meilleurs passages après reclassement, et ne répond qu’avec ce qu’il peut citer.
Trois décisions
Les références exactes se perdent en recherche sémantique pure. Combiner le sens et les mots-clés, puis reclasser, a réglé la plupart des ratés.
Plutôt qu’un prompt géant, l’agent choisit ses outils : chercher, recouper, résumer. Chaque étape est visible et testable séparément.
Plus de 2 600 tests et 99 % de couverture bloquent chaque mise en production. Les évals chiffrent la qualité, le coût et la latence avant un changement de modèle ou de prompt.
À quoi ça ressemble
Ce que je mesure
Deux filets, deux rôles. Les tests vérifient le câblage : plus de 2 600, avec 99 % de couverture, et rien ne part s’ils sont rouges. Les évals mesurent le comportement : la recherche est notée étape par étape sur de vraies questions annotées, les réponses par des contrôles déterministes et un juge aux critères binaires. Elles ne votent pas à ma place : elles me donnent un tableau, et je tranche.
Ce jeu grossit avec l’usage : quand quelqu’un signale une mauvaise réponse, elle devient un nouveau cas de test. C’est la partie la moins visible du projet, et celle qui m’a fait gagner le plus de temps.
Ce que j’en retiens
Le modèle compte moins qu’on ne le croit. Ce qui fait la différence, c’est la qualité de la recherche et la discipline d’évaluation. Et la confiance vient des sources affichées, pas du ton assuré de la réponse.