Chat completions

Эндпоинт POST /v1/chat/completions полностью совместим с OpenAI Chat Completions API.

Минимальный запрос

from openai import OpenAI

client = OpenAI(base_url="https://api.llmgw.ru/v1", api_key="sk-llmgw-...")

resp = client.chat.completions.create(
    model="anthropic/claude-sonnet-4.6",
    messages=[
        {"role": "system", "content": "Ты дружелюбный ассистент."},
        {"role": "user", "content": "Что такое llmgw?"},
    ],
    temperature=0.4,
    max_tokens=400,
)
print(resp.choices[0].message.content)
print("Использовано токенов:", resp.usage.total_tokens)

Поддерживаемые параметры

• model, messages, temperature, top_p, max_tokens, stream, stop, presence_penalty, frequency_penalty, seed, tools, tool_choice, response_format, n, logprobs, top_logprobs.
• Параметры конкретного провайдера можно передать через extra_body (Python) или body (TS). Несовместимые с выбранной моделью поля отбрасываются автоматически.

Структура ответа

Формат совместим с OpenAI:

{
  "id": "chatcmpl-...",
  "model": "anthropic/claude-sonnet-4.6",
  "choices": [{ "message": { "role": "assistant", "content": "..." }, "finish_reason": "stop" }],
  "usage": { "prompt_tokens": 42, "completion_tokens": 128, "total_tokens": 170 }
}

В поле model — модель, которая ответила. Если первая модель цепочки вернула ошибку лимита, временный сбой или не ответила вовремя, там будет следующая модель, которая обработала запрос.

Метаданные

В заголовках ответа возвращаются:

• x-llmgw-request-id — укажите его, если пишете в поддержку.
• x-llmgw-cost-rub — стоимость запроса в рублях.