블로그
배운 것을 글로.
프로덕션 AI, 검색, 제품에 관한 글입니다. 직접 만져 봐야 이해되는 아이디어에는 데모를 붙였습니다.
글은 프랑스어와 영어로 씁니다.
Streaming LLM answers: the proxy that held the words back
Streaming does not make a model faster, it makes it readable sooner. The words still have to arrive: buffering, compression, dropped connections, and what the interface has to get right. With a simulation of the trip.