Python SDK

llmgw полностью совместим с официальным openai пакетом.

Установка

pip install "openai>=1.40"

Конфигурация

from openai import OpenAI

client = OpenAI(
    base_url="https://api.example.com/v1",
    api_key="sk-llmgw-...",
    timeout=60,
    max_retries=2,
)

Можно положить ключ в переменную окружения OPENAI_API_KEY и OPENAI_BASE_URL, тогда OpenAI() подтянет их автоматически.

Async

import asyncio
from openai import AsyncOpenAI

async def main():
    client = AsyncOpenAI(base_url="https://api.example.com/v1", api_key="sk-llmgw-...")
    resp = await client.chat.completions.create(
        model="anthropic/claude-sonnet-4.6",
        messages=[{"role": "user", "content": "ping"}],
    )
    print(resp.choices[0].message.content)

asyncio.run(main())

Стриминг + tools

См. разделы Стриминг и Function calling.

Версии

• Минимальная версия openai: 1.40.
• Рекомендуется 1.50+ для последних tool-форматов.

Тонкая настройка httpx

Можно передать кастомный httpx.Client (например, чтобы добавить прокси, таймауты или TLS-настройки):

import httpx
from openai import OpenAI

http_client = httpx.Client(
    proxies="http://proxy:3128",
    timeout=httpx.Timeout(60, read=120),
)
client = OpenAI(base_url="https://api.example.com/v1", http_client=http_client)