Cloud LLM Providers

Cloud LLM Providers (Облачные провайдеры)

Настройка и использование облачных LLM провайдеров.

Workspace-фильтрация: Провайдеры фильтруются по workspace_id из JWT. CRUD-эндпоинты используют workspace_context() для изоляции данных между workspace. Системные методы (default provider, first enabled) остаются без фильтрации.

Поддерживаемые провайдеры

Провайдер	Тип	Бесплатные модели
OpenRouter	Агрегатор	✅ Есть
Google Gemini	Прямой	❌
OpenAI	Прямой	❌
Anthropic	Прямой	❌
DeepSeek	Прямой	❌
Kimi (Moonshot)	Прямой	❌

OpenRouter

Описание

OpenRouter — агрегатор, предоставляющий доступ к множеству моделей через единый API.

Бесплатные модели (Январь 2026)

Модель	ID
NVIDIA Nemotron 3 Nano	nvidia/nemotron-3-nano-30b-a3b:free
Arcee Trinity Large	arcee-ai/trinity-large-preview:free
Upstage Solar Pro 3	upstage/solar-pro-3:free

Настройка

1. Зарегистрируйтесь на openrouter.ai
2. Получите API ключ
3. Создайте провайдера в админке:
   • Тип: OpenRouter
   • API Key: ваш ключ
   • Модель: выберите из списка

Google Gemini

Модели

Модель	Контекст	Скорость
gemini-2.0-flash	1M токенов	Быстрая
gemini-2.5-pro	1M токенов	Средняя

VLESS прокси

Для регионов с ограничениями доступа к Google API:

1. В настройках провайдера найдите секцию "VLESS Proxy"
2. Вставьте VLESS URL
3. Протестируйте подключение
4. Сохраните

Подробнее: VLESS-Proxy

Настройка

1. Получите API ключ в Google AI Studio
2. Создайте провайдера:
   • Тип: Gemini
   • API Key: ваш ключ
   • Модель: gemini-2.0-flash

OpenAI

Модели

Модель	Описание
gpt-4o	Флагманская модель
gpt-4o-mini	Быстрая и дешёвая

Настройка

1. Получите API ключ на platform.openai.com
2. Создайте провайдера:
   • Тип: OpenAI
   • API Key: ваш ключ
   • Модель: gpt-4o-mini

Anthropic (Claude)

Модели

Модель	Описание
claude-opus-4-5	Самая умная
claude-sonnet-4	Баланс скорости и качества

Настройка

1. Получите API ключ на console.anthropic.com
2. Создайте провайдера:
   • Тип: Anthropic
   • API Key: ваш ключ
   • Модель: claude-sonnet-4

DeepSeek

Модели

Модель	Описание
deepseek-chat	Чат-модель
deepseek-coder	Код и программирование

Настройка

1. Получите API ключ на platform.deepseek.com
2. Создайте провайдера с типом DeepSeek

Kimi (Moonshot)

Модели

Модель	Контекст
kimi-k2	200K токенов
moonshot-v1-128k	128K токенов

Настройка

1. Получите API ключ на platform.moonshot.cn
2. Создайте провайдера с типом Kimi

Конфиденциальность данных

Внимание: При использовании любого облачного провайдера все данные из промптов передаются третьим лицам: системные инструкции, RAG-контекст из базы знаний, сообщения пользователей. При большом трафике провайдер со временем получит практически всю вашу базу данных через RAG-фрагменты. Подробнее: Data-Privacy

Если конфиденциальность данных критична (каталоги товаров, клиентская база, know-how), используйте локальный LLM (LLM_BACKEND=vllm).

Использование

В админ-панели

1. Перейдите на вкладку LLM
2. Выберите бэкенд "Cloud AI"
3. Выберите провайдера из списка
4. Провайдер будет использоваться для всех запросов

В чате

1. В заголовке чата есть выпадающий список LLM
2. Выберите конкретного провайдера
3. Сообщения будут обрабатываться выбранным провайдером

В Telegram ботах

В настройках бота:

• llm_backend: cloud:{provider_id}
• Или выберите из выпадающего списка

---

← VLESS-Proxy | API-Reference →