Кеширование и батчинг: инженерия дешёвых запросов
Два приёма, которые убирают часть запросов из счёта вообще, и порядок, в котором их стоит внедрять.
Раздел
Tag: для разработчиков
Как проверять качество ответов модели: набор примеров вместо ощущений
Как собрать тестовый комплект за день и понять, стало ли лучше после правки промпта или смены модели.
Function calling: как связать нейросеть с вашими сервисами
Как модель перестаёт выдумывать данные и начинает запрашивать их у ваших систем — и что при этом остаётся на вашей…
Стриминг ответов: как сделать интерфейс отзывчивым
Почему пользователь уходит, не дождавшись ответа, и что меняет постепенная выдача текста.
RAG: как научить нейросеть отвечать по вашей базе знаний
Почему модель нельзя просто «обучить на своих документах» и как устроена схема, которая работает вместо этого.