Как проверить качество AI-помощника

Опишите приемлемый ответ

Для помощника по документам хороший ответ может означать точную выдержку с указанием источника. Для редактора — черновик без добавленных фактов, который человек быстро проверяет. Запишите критерии до выбора модели. Красивый стиль и уверенный тон сами по себе не доказывают, что система решает вашу задачу.

Соберите разные рабочие примеры

Включите обычные запросы, неполные документы, противоречивые сведения и задачи без ответа в доступных данных. Используйте обезличенные материалы, допустимые для выбранного сервиса. Часть примеров оставьте для итоговой проверки и не используйте при настройке. Иначе легко улучшить ответы на знакомые формулировки и не заметить слабость на новых.

Разделите ошибки по последствиям

Неверная запятая, пропущенный важный факт и выдуманная сумма требуют разной реакции. Определите, какие ошибки допускают ручную правку, а какие блокируют выдачу результата. Заранее решите, когда помощник должен сообщить о нехватке данных. Отказ от ответа в подходящем случае полезнее правдоподобного текста без основания.

Проверьте место человека в процессе

Определите, кто проверяет результат и что он видит: исходный документ, использованные фрагменты и предложенные изменения. Если AI готовит публикацию, подтверждение должно быть отдельным действием. В ROAVENTA работа с текстами связана с данными из ETL и проверкой фактов; такая последовательность полезнее оценки одного ответа вне рабочего процесса.

Сравнивайте полную стоимость результата

Считайте не только запрос к модели, но и подготовку данных, повторные попытки, ожидание и время проверки человеком. Один более дешёвый ответ может потребовать гораздо больше исправлений. Сравнивайте варианты на одинаковых примерах и по одинаковым критериям. Зафиксируйте настройки проверки, чтобы изменение результата можно было объяснить и воспроизвести.

Заранее договоритесь об остановке

До пилота определите условия продолжения: допустимые ошибки, время обработки и нагрузку на проверяющего. Если результат не проходит критерии, полезным итогом становится понимание причины: неподходящие данные, слишком широкая задача или сложная проверка. Сужение сценария и отказ от автоматического действия тоже могут быть правильными результатами пилота.