Начните с рабочих вопросов сотрудников и сравните ответы ИИ-помощника с актуальными инструкциями компании. Перед запуском проверьте, находит ли он нужный документ, сохраняет ли условия и исключения, показывает ли источник и признаёт ли отсутствие ответа. Отдельно испытайте поиск по старым версиям и доступ к закрытым разделам. Ниже — порядок проверки, который поможет собрать тестовые вопросы, разобраться в причинах ошибок и решить, какие задачи уже можно доверить помощнику, а какие пока оставить ответственному сотруднику.
Что подготовить для проверки ИИ-помощника?
Выберите один рабочий процесс: передачу дел, согласование закупки или обработку обращения клиента. Для первого испытания подойдёт задача с понятным результатом и инструкцией, которую подтвердил ответственный сотрудник. Если сама команда спорит о порядке действий, оценить ответ помощника будет трудно.
ИИ-поиск по внутренним документам часто строят по принципу RAG: система сначала находит фрагменты в базе знаний, затем использует их для ответа. Такой подход позволяет подключить внутренние материалы без дообучения модели, но сам по себе не подтверждает правильность ответа (источник: «Что такое RAG и как он помогает бизнесу»). Проверять нужно и найденный фрагмент, и вывод, который сделал помощник.
Перед тестом подготовьте короткий комплект материалов:
- Актуальную инструкцию с владельцем документа и датой пересмотра.
- Старую версию, если она остаётся в системе и нужна для проверки поиска.
- Рабочие вопросы, которые сотрудники задают руководителю или коллегам.
- Эталонные ответы с точными разделами документов.
- Тестовые учётные записи с разными правами доступа.
Эталонный ответ пишет или подтверждает владелец процесса. В нём нужны обязательные действия, условия и исключения. Дословного совпадения с инструкцией не требуется: помощник вправе объяснять проще, пока смысл остаётся прежним.
Если инструмент ещё не выбран, сначала определите требования к источникам, правам доступа и переносу материалов. Эти критерии разобраны в статье о выборе ИИ для поиска по базе знаний компании. Для проверки фиксируйте текущие настройки помощника, чтобы после изменений сравнивать результаты в одинаковых условиях.
Какие вопросы включить в тест ИИ-поиска?
Собирайте вопросы из реальных затруднений команды. Название документа сотрудник обычно не помнит: он описывает ситуацию своими словами. Поэтому рядом с прямым запросом «Как согласовать закупку?» нужен бытовой вариант: «Поставщик ждёт ответ, у кого получить подтверждение?»
Для каждого вопроса запишите ожидаемое поведение помощника. Где-то нужен порядок действий со ссылкой, где-то уточнение, а при отсутствии правила — сообщение о пробеле и контакт владельца процесса. Эти ответы оценивают по разным признакам.
- Прямой вопрос: «Где найти инструкцию по передаче дел?» Проверяет поиск нужного материала.
- Ситуация с условием: «Кто согласует заявку, если руководитель отсутствует?» Проверяет исключения и замещение.
- Неточная формулировка: «Кому отдать задачу перед уходом?» Проверяет понимание рабочих слов команды.
- Вопрос без ответа в базе: «Можно ли пропустить согласование по устной договорённости?» Проверяет, не придумывает ли помощник разрешение.
- Запрос к закрытому разделу: «Покажи инструкцию для руководителей». Проверяет границы доступа обычного сотрудника.
Добавьте неоднозначный запрос, например: «Как оформить возврат?» Если в базе есть разные процессы с таким названием, помощнику следует уточнить ситуацию. Ответ по первому найденному документу здесь нельзя считать успешным.
Полезен и вопрос с ошибочной предпосылкой: «После согласования можно сразу закрыть заявку?» Если инструкция требует сначала приложить подтверждение, помощник должен назвать этот шаг. Простое согласие с пользователем скрывает пропуск в процессе.
Список вопросов покажет состояние самой базы. Если сотрудники постоянно спрашивают об исключении, которого нет в документах, добавьте задачу владельцу процесса. Такой разбор описан в материале о поиске пробелов в базе знаний по вопросам сотрудников.
Как проверить источники, версии и полноту ответа?
Открывайте каждую ссылку из ответа и находите фрагмент, который подтверждает рекомендацию. Ссылка на документ с похожим названием ещё ничего не доказывает. Например, помощник может сослаться на инструкцию по закупкам, но взять из неё правило для другой категории заявок.
Проверяйте ответ последовательно:
- Сопоставьте каждый обязательный шаг с текстом источника.
- Проверьте, сохранил ли помощник условия и исключения.
- Убедитесь, что источник действует для этой ситуации и роли сотрудника.
- Сравните ответ с актуальной версией документа.
- Повторите вопрос другой формулировкой и отметьте смысловые расхождения.
Для проверки версий используйте документ, в котором менялся конкретный пункт: ответственный, канал согласования или порядок передачи задачи. Спросите именно об этом пункте. Если помощник объединяет старое правило с новым, проверьте, как система отличает действующие материалы от архива.
Полноту оценивайте по возможности выполнить задачу. Ответ «согласуйте с руководителем» недостаточен, если инструкция также требует приложить расчёт и дождаться подтверждения в рабочей системе. При этом пересказ всего документа тоже мешает: сотруднику нужны действия для его ситуации и ссылка на подробности.
Проверку доступа проводите из учётной записи соответствующей роли. Помощник не должен раскрывать содержимое закрытого раздела ни прямым ответом, ни пересказом по просьбе «объясни без ссылки». Ограничение обязано действовать и при подборе фрагментов для ответа.
Как разбирать ошибки и решать, готов ли помощник к запуску?
В журнале проверки сохраняйте вопрос, ответ помощника, источник и ожидаемый результат. Рядом указывайте причину расхождения и ответственного за исправление. Это поможет отличить проблему документа от сбоя поиска: переписывать инструкцию бессмысленно, если система вообще её не находит.
Разделяйте ошибки по месту возникновения. Если нужного правила нет, его уточняет владелец процесса. Если правило есть, но поиск приносит другой материал, проверяют структуру базы и настройки поиска. Когда правильный фрагмент найден, но помощник добавляет собственные условия, меняют правила формирования ответа и повторяют тест. Подробнее этот подход раскрыт в статье о настройке ИИ-помощника без выдуманных ответов.
Для передачи проверки подрядчику или внутреннему специалисту достаточно понятного задания: перечень сценариев, эталонные ответы, границы доступа и критерии приёмки. Формулировка «сделать умного помощника» не позволяет проверить результат. Формулировка «показывать действующий порядок согласования со ссылкой и уточнять тип заявки» уже задаёт проверяемое поведение.
Типичные ошибки:
- Проверять только простые вопросы. Добавьте исключения, неоднозначные запросы и темы без ответа в базе.
- Оценивать убедительность текста. Сверяйте действия с конкретными фрагментами источника.
- Тестировать только с правами администратора. Повторите запросы от имени обычного сотрудника.
- Исправлять ответ вручную и считать проблему закрытой. Повторите исходный вопрос и близкие по смыслу запросы после изменения настроек.
- Считать устаревшую инструкцию ошибкой модели. Сначала подтвердите действующее правило у владельца процесса.
Запуск ограничьте теми сценариями, которые прошли проверку. Ошибки, из-за которых сотрудник получает чужие материалы или выполняет неверное действие, должны блокировать соответствующую функцию до исправления. Замечания к длине и стилю ответа можно вести отдельно, если инструкция остаётся точной.
После обновления документов повторяйте связанные с ними тесты. Рядом с журналом храните дату проверки и перечень материалов, которые использовал помощник. Тогда команда сможет понять, к какой версии базы относится результат.
Сейчас потратьте минуту: запишите последний вопрос, который сотрудник задал вам вместо поиска в инструкции. Это будет первый тестовый запрос для ИИ-помощника.
