Оценка пилота ИИ — это заранее записанные критерии качества, стоимости и безопасности, по которым через 4–8 недель говорят go, no-go или переделать постановку. Без них пилот заканчивается презентацией и новым сроком «ещё месяц».
Порядок запуска пилота — в с чего начать. Здесь только приёмка.
Базовая линия до модели
Замерьте, как процесс живёт сейчас: время обработки, доля ручного ввода, число возвратов. Если «сейчас» не измерено, любой результат модели можно объявить победой. Это скучно и единственный честный способ.
Качество: типы ошибок, не одна цифра
Разметьте критичные и некритичные ошибки. Считайте их отдельно. Смешивать «опечатку» и «выдуманный штраф» в одном проценте — способ принять в прод опасную систему.
Галлюцинации фиксируйте как отдельный тип — см. галлюцинации в процессах.
Стоимость на реальном объёме
Посчитайте расход на N живых объектов, не на демо из трёх предложений. Заложите повторные вызовы. Сравните с ручным шагом, а не с нулём. Как собирать счёт — в сколько стоит ИИ.
ИБ: пилот должен быть похож на прод
Ключ приложения, журнал, запрет классов данных. Если на пилоте все ходят в личный чат, вы не проверили ничего из того, что сломается на security review. Чеклист канала — безопасный доступ.
Решение на одной странице
Go: критичные ошибки в допуске, стоимость понятна, владелец забирает. No-go: критичные ошибки не падают или нет владельца. Переделать: узкий вход, другая модель, другой процесс — с новой датой, не «продолжить эксперимент».
После go не подключайте сразу все очереди. Масштаб — второй поток с теми же метриками. Заявка на контур — контакт.
Частые вопросы
Если на заранее собранных живых примерах доля критичных ошибок и стоимость обработки приемлемы, журнал и роли работают, и владелец процесса готов забрать сценарий в продуктив. «Всем понравилось демо» — не критерий. Дата окончания пилота обязательна, иначе решение не принимают.
Лучше 30–50 реальных объектов, чем 3 придуманных. Если нет 50, сделайте 15, но с разметкой ошибок. Ноль размеченных примеров означает, что вы сравниваете стиль ответа, а не пригодность к процессу.
Те, что вредят клиенту, деньгам или комплаенсу: неверная сумма, выдуманная норма, утечка ПДн в ответе, неверная эскалация. Стилистические шероховатости — отдельно, их не смешивают в одну «точность 90%».
Да. Пилот на личном ключе без журнала ничего не говорит о проде. Минимальный контур — [шлюз](/platform#gateway), лимит, базовые правила данных. Иначе вы оцениваете модель, а внедрять будете другую систему.