Blog
Ce que j’apprends, par écrit.
Des articles sur l’IA en production, la recherche et les produits. Quand une idée se comprend mieux en la manipulant, l’article contient une démo.
Streamer les réponses d’un LLM : le proxy qui retenait les mots
Le streaming ne rend pas un modèle plus rapide, il le rend plus vite lisible. Encore faut-il que les mots arrivent : buffering, compression, connexions coupées, et ce que l’interface doit soigner. Avec une simulation du trajet.