Список моделей
На текущем этапе llmgw проксирует запросы только через OpenRouter. Прямые ключи других провайдеров (Anthropic, OpenAI, DeepSeek API и т.д.) не используются.
Полный актуальный каталог с ценами в рублях за 1 миллион токенов доступен:
- В кабинете: Модели.
- Программно:
GET /api/v1/pricing— возвращает массив с ценой и контекстом каждой модели. Источник — API OpenRouter. Цена пересчитывается ежечасно по курсу ЦБ РФ.
Идентификатор модели в API
Указывайте id как в каталоге OpenRouter — без префикса openrouter/ в поле model (не в URL):
{ "model": "anthropic/claude-sonnet-4.6", "messages": [...] }Шлюз LiteLLM маршрутизирует anthropic/claude-sonnet-4.6 → openrouter/anthropic/claude-sonnet-4.6 внутри прокси. Любая модель из каталога OpenRouter доступна через wildcard * в конфиге.
Префикс openrouter/ в поле model по-прежнему принимается для совместимости, но в документации и кабинете используются короткие имени (provider/model-id).
Семейства
| Провайдер | Префикс | Примеры |
|---|---|---|
| Anthropic | anthropic/ | anthropic/claude-sonnet-4.6, anthropic/claude-opus-4.7 |
| OpenAI | openai/ | openai/gpt-5, openai/gpt-4o-mini, openai/o3 |
google/ | gemini-3.1-pro-preview, gemini-2.5-pro | |
| xAI | x-ai/ | grok-4, grok-4.1-fast |
| DeepSeek | deepseek/ | deepseek-r1, deepseek-v3.2 |
| Meta Llama | meta-llama/ | llama-4-maverick |
| Mistral | mistralai/ | mistral-large, pixtral-large |
| Qwen | qwen/ | qwen-3-235b |
Фоллбэки
Если основная модель временно недоступна, шлюз автоматически проксирует запрос в родственную (например, claude-opus-4.7 → claude-opus-4.5). Поведение настраивается в LiteLLM-конфиге; вы всегда получите ответ либо 503 если оба варианта упали.
Контекст и max tokens
Контекст и output_tokens указаны в каталоге. Если запросите больше — шлюз обрежет ответ или вернёт ошибку, в зависимости от провайдера.
Кеширование
Идентичные не-streaming запросы кешируются на 10 минут. Кеш — стороннее семейное соглашение между шлюзом и Redis: ответ из кеша не списывает дополнительный объём с баланса.