Skip to content

Кеширование промптов ​

Повторяющееся начало промпта оплачивается по цене кэша входа, а не по обычной цене входных токенов. Так дешевле обходятся системная инструкция, длинные документы и уже отправленная история диалога.

Цена кэша указана в каталоге отдельно от цены входа и выхода — у тех моделей, где кэш есть. Чаще всего это модели Claude, GPT, DeepSeek и Gemini. Если у модели цены кэша нет, весь вход считается по обычной цене.

В журнале запросов токены кэша видны отдельной колонкой, рядом с токенами входа и выхода. Стоимость запроса считается по ценам каталога на момент вызова.

© llmgw · «ЭСТЕСИС»