Один вопрос после удачной демонстрации
Возьмём условную демонстрацию помощника для отдела продаж. Его спрашивают, что входит в услугу. Он выдаёт аккуратное объяснение. Спрашивают о сроках — снова хороший ответ. Потом появляется фраза: «Мне в прошлом месяце обещали другие условия. Вы их сохраните?»
Теперь мало пересказать описание услуги. Нужно понять, был ли разговор, кто давал обещание, действует ли оно сегодня и кто вправе сделать исключение. За внешне похожим вопросом скрывается другая работа. Именно на таких переходах стоит проверять будущего помощника.
Поиск сведений, подготовка решения и само действие требуют разных полномочий. Найти пункт регламента — одна задача. Составить черновик ответа по этому пункту — следующая. Изменить договорённость с клиентом — ещё одна, с иной ценой ошибки.
Для редких вопросов иногда достаточно хорошей страницы помощи. Для повторяющейся подготовки документов ИИ может быть полезен ещё до общения с клиентами. Выбор конкретной операции помогает понять нужность помощника и объём его будущей работы.
В папке три прайса. Какой настоящий?
Помощник получает не идеальную компанию из презентации, а её реальные материалы. В одной папке лежит старый прайс, в другой — новый. Условия для партнёров похожи на розничные. Исключение, которое опытные сотрудники помнят, нигде не записано. Быстро отвечающий интерфейс делает эту путаницу заметнее.
Подготовка знаний начинается с редакторской и управленческой работы: найти действующие документы, определить владельца каждого, убрать дубли, объяснить исключения. Если два документа расходятся, нужно установить правило выбора. Модель не должна угадывать корпоративную иерархию по уверенности формулировок.
Один из технических подходов называется RAG — формирование ответа с опорой на предварительно найденные сведения. Система сначала ищет подходящие фрагменты в базе, затем передаёт их модели. Такой порядок описан, например, в руководстве Yandex Cloud.
Найденный фрагмент тоже может оказаться устаревшим или неполным. Подключение базы знаний не отменяет проверку ответа. А цену, остаток или статус заказа часто приходится запрашивать из действующей системы. Заранее необходимо определить, кому разрешено видеть сведения и какие данные допустимо передавать поставщику модели.
Доверие выдаётся по частям
У сотрудника, который хорошо объясняет услуги, не возникает автоматически права менять банковские реквизиты. С цифровым помощником полезно рассуждать так же. Качество справочных ответов не является проверкой способности самостоятельно оформлять возвраты.
Границы должны существовать в приложении: какие операции доступны, чьи данные разрешено читать, что требует подтверждения. Фраза в инструкции модели «не выполняй опасных действий» не заменяет техническое ограничение доступа. Для первого пилота можно вообще не предоставлять право менять рабочие записи.
Передача человеку тоже требует проектирования. Сообщение «Обратитесь в поддержку» оставляет клиента начинать сначала. Полезнее передать сотруднику вопрос, найденные сведения и причину, по которой помощник остановился, без лишних персональных данных.
Наш условный вопрос о прежних условиях может закончиться именно такой передачей. Это нормальный результат, если достоверного основания для обещания нет. Компания сохраняет возможность принять решение, а клиент понимает, кто теперь занимается его вопросом.
Экзамен без выученных билетов
На показе удобно задавать вопросы, к которым система готова. Перед запуском нужны и другие: с опечаткой в названии, недостающим номером заказа, противоречащими условиями, просьбой раскрыть чужие сведения. Отдельно проверяется попытка заставить помощника забыть ограничения.
Для каждого случая заранее определяют допустимое поведение. Где-то нужен точный ответ со ссылкой на источник, где-то — уточнение, где-то — отказ от действия и передача сотруднику. Оценка «вроде неплохо разговаривает» не позволяет понять, что исправлять.
Правильность факта, полнота ответа и корректность следующего шага проверяются отдельно. Помощник может назвать верную цену, но забыть обязательное условие. Может правильно отказать, но не передать обращение. Может вежливо объяснить всё, кроме того, о чём спрашивали.
Результаты привязывают к версии материалов и настройкам. После изменения документов или модели затронутые проверки повторяют. Иначе у компании остаётся красивый отчёт об испытании помощника, который с тех пор уже изменился.
Кто работает, когда помощник заработал
В смете легко заметить внедрение и плату за модель. Сложнее — обновление материалов, разбор спорных ответов, поддержку подключений и время сотрудника, который подхватывает разговор. Эти расходы не исчезают оттого, что помощник отвечает быстро.
Для оценки пользы нужен прежний процесс. Как часто возникает выбранная задача? Сколько времени занимает? Какая доля обращений подходит для автоматизации? Из высвобожденного времени вычитают проверку и сопровождение. Картина получается скромнее, зато становится содержательной.
Свободный час ещё не означает сэкономленные деньги. Экономический результат появляется, когда меняются расходы или этот час превращается в дополнительную полезную работу, которую можно измерить. Без этого утверждение об окупаемости остаётся предположением.
Поэтому у пилота должны быть ограниченный поток и дата разбора. К этому дню нужно понять, какие задачи помощник выполняет, сколько внимания требует и где его границу лучше оставить прежней. Убедительный ответ открывает разговор о внедрении. Продолжать его помогают наблюдения за работой.