Blog
Was ich lerne, aufgeschrieben.
Artikel über KI im Produktivbetrieb, Suche und Produkte. Wenn sich eine Idee besser durch Ausprobieren verstehen lässt, enthält der Artikel eine Demo.
Die Artikel erscheinen auf Französisch und Englisch.
Streaming LLM answers: the proxy that held the words back
Streaming does not make a model faster, it makes it readable sooner. The words still have to arrive: buffering, compression, dropped connections, and what the interface has to get right. With a simulation of the trip.