LangChain / LlamaIndex / прочее

llmgw умеет всё, что умеет OpenAI Chat Completions API, поэтому работает с любыми библиотеками, которые принимают base_url и api_key.

LangChain (Python)

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="anthropic/claude-sonnet-4.6",
    base_url="https://api.example.com/v1",
    api_key="sk-llmgw-...",
    temperature=0.3,
)

print(llm.invoke("Что такое llmgw?").content)

LangChain.js

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "openai/gpt-5",
  configuration: { baseURL: "https://api.example.com/v1" },
  apiKey: process.env.LLMBOX_KEY,
});
const r = await llm.invoke("hi");

LlamaIndex

from llama_index.llms.openai import OpenAI

llm = OpenAI(
    model="anthropic/claude-sonnet-4.6",
    api_base="https://api.example.com/v1",
    api_key="sk-llmgw-...",
)

Vercel AI SDK (ai)

import { createOpenAI } from "@ai-sdk/openai";
const openai = createOpenAI({
  baseURL: "https://api.example.com/v1",
  apiKey: process.env.LLMBOX_KEY,
});

const { text } = await generateText({
  model: openai("anthropic/claude-sonnet-4.6"),
  prompt: "ping",
});

Continue / Cline / Cursor / OpenWebUI

В настройках указываете:

• API Base / Base URL: https://api.example.com/v1
• API Key: ваш ключ sk-llmgw-...
• Model: любой из каталога моделей.