Маршрутизация запросов к LLM — это правило выбора модели под класс задач. Резервный маршрут — запасная модель, если основная не отвечает или деградировала. Вместе они отличают корпоративный шлюз от прокси «лишь бы открывалось».
Определение шлюза целиком — в что такое AIaaS-шлюз. Здесь только маршруты и отказ, без повторного манифеста продукта.
Зачем правило, а не одна модель
Поток классификации не должен идти через самую дорогую модель. Разбор спорного договора — не через самую дешёвую. Смешение без правила либо разоряет, либо снижает качество. Метод выбора класса — как выбрать LLM.
Из чего состоит правило
Тип задачи, контур данных (можно ли во внешний API), бюджет проекта, среда (prod / sandbox). Allow-list важнее длинного каталога: то, чего нет в списке, из прода не вызывается.
Исполняет правило шлюз. Приложение не обязано знать имя поставщика.
Failover без сюрпризов
Запасная модель должна пройти тот же набор примеров, хотя бы урезанный. Иначе при аварии вы получите живой сервис с другими ошибками и другим тоном писем клиенту.
Логируйте долю fallback. Если запасной маршрут стал основным, это уже не авария, а смена поставщика без решения.
Что не является маршрутизацией
Кнопка «попробуй другую модель» у каждого сотрудника. Случайный retry в тот же упавший API без лимита. Скрытый вызов личного ключа, когда шлюз вернул 429.
Это снова обход. Политика канала — безопасный доступ.
Как ввести за месяц
Два класса задач, две модели, один запасной маршрут на прод, песочница без failover в «что угодно». Ревью правила как изменение конфигурации риска. Дальше — расширять классы, не плодить исключения.
Частые вопросы
Маршрутизация — это правило, по которому запрос класса задач уходит на выбранную модель каталога: дешёвая на FAQ, сильнее на разбор договора, речевая на аудио. Правило исполняет корпоративный шлюз, а не сотрудник в выпадающем списке чата.
Failover — заранее заданная запасная модель или поставщик, если основная недоступна, превышен лимит или выросла задержка. Без него простой внешнего API останавливает ваш процесс. С ним качество запасного маршрута должно быть заранее приемлемым, а не «какой угодно живой endpoint».
Нет. Поставщики остаются с разными интерфейсами. Единым является контроль и правило маршрута на шлюзе. Приложение вызывает корпоративный endpoint, шлюз ходит к поставщику своим способом. Подробнее — FAQ на [тарифах](/pricing) и определение на [шлюзе](/platform#gateway).
Владелец платформы с ревью ИБ и FinOps. Смена default-модели меняет риск и стоимость. Это не скрытая галочка в личном кабинете разработчика одного сервиса.