Пилот ИИ-агента за 30 дней – план, критерии успеха и точки остановки

Пилот нужен, чтобы проверить идею на малом масштабе, прежде чем вкладывать большие деньги. Хороший пилот отвечает на один вопрос. Приносит ли агент на этом процессе достаточно пользы, чтобы продолжать. Плохой пилот превращается в демонстрацию, после которой никто не знает, что делать дальше. В статье описан план на тридцать дней с недельными этапами, критериями успеха и точками, в которых разумно остановиться.

Что должно быть готово до старта

Пилот начинается не с программирования, а с подготовки. Нужны четыре вещи. Один процесс с понятным входом и выходом. Владелец процесса, который будет проверять результаты. Образцы документов без персональных данных или с заменой на метки. И замер текущего положения, то есть сколько времени процесс занимает сейчас и сколько в нем ошибок. Без замера «до» итог будет вопросом веры, а не фактов. Мнение автора состоит в том, что именно отсутствие замера чаще всего губит пилоты.

Неделя первая – уточнение

В первую неделю процесс разбирается вместе с исполнителем. Что приходит на вход, какие бывают исключения, что считается хорошим результатом, кто и как проверяет. Фиксируются граничные условия. Что агент делает сам, что готовит на утверждение, что не трогает.

Заранее решается, какие данные агент увидит. Если в процессе есть персональные данные, нужно понять, кто в вашей организации отвечает за их обработку, и выбрать способ обезличить документы, например заменить фамилии метками. Отдельно выбирается модель, подходящая для задачи и для вашего контура данных. Требования закона о персональных данных (Федеральный закон от 27.07.2006 № 152-ФЗ) относятся к вашей организации как к оператору данных, поэтому точный порядок для вашего случая лучше согласовать с юристом.

Итогом недели становится одностраничное описание, которое подписывает владелец процесса. Это и есть точка, от которой потом меряют результат.

Неделя вторая – сборка и проверка на примерах

Агент настраивается и проверяется на старых примерах, для которых известен правильный результат. Это безопасный способ найти слабые места. Полезно подготовить двадцать–тридцать случаев, включая трудные. Результаты сравниваются с эталоном, и доля правильных ответов фиксируется. Если в конце недели агент не справляется с большинством случаев, это сигнал вернуться к описанию процесса или выбрать другой. Важно сравнивать с эталоном не по ощущению, а по заранее записанному правилу, что считается верным ответом.

Неделя третья – работа параллельно с человеком

Агент обрабатывает реальные задачи, но человек делает ту же работу как раньше или проверяет результат целиком. Сравниваются время, ошибки и количество правок. На этом этапе появляются неожиданные случаи, которых не было в примерах. Их нужно записывать, а не прятать. Каждый такой случай – либо правило для агента, либо повод оставить эту часть процесса человеку.

Неделя четвертая – замер и решение

Во вторую половину недели подводятся итоги. Сколько времени ушло до и после, какая доля результатов принята без правок, какие ошибки были, сколько стоила работа. Затем принимается одно из трех решений.

1. Расширить – если польза измерена и риски понятны.
2. Доработать – если направление верное, но качество недостаточно.
3. Остановить – если польза не подтвердилась или риски выше выгоды.

Остановка не провал. Если вы потратили месяц и небольшую сумму и узнали, что процесс не подходит, это дешевле, чем полноценное внедрение.

Критерии успеха

Критерии нужно записать до начала. Примеры формулировок.

• Время на подготовку еженедельной сводки сократилось не менее чем вдвое по замеру за четыре недели.
• Не менее восьми из десяти черновиков принимаются с небольшими правками.
• Ни один случай не потребовал отправки персональных данных за пределы разрешенного контура.

Пороги в примерах иллюстративны, их выбирает владелец процесса. Это мнение автора, не отраслевой норматив.

Точки остановки

Полезно заранее определить условия, при которых пилот прекращается раньше срока. Например, обнаружена утечка данных, в процессе выявлены юридические препятствия, владелец процесса не выделяет время на проверку, либо результат остается на уровне случайного после двух итераций доработки. Чем раньше такие условия записаны, тем легче принять решение без споров.

Что дальше после пилота

Если пилот успешен, обсуждаются внедрение и сопровождение. Внедрение включает интеграцию с вашими системами, обучение сотрудников и документацию. Сопровождение – исправление ошибок, обновление под новые версии моделей и ответы на вопросы. Условия и стоимость обсуждаются отдельно.

Роли в пилоте

В пилоте обычно участвуют три роли. Владелец процесса, который знает, как должно быть, и принимает результат. Исполнитель, который каждый день занимается этой работой и видит нюансы. Ответственный за данные, который следит за тем, что уходит в модель. Для каждой роли нужно заранее договориться о времени. Обычно это несколько часов в неделю, а не полный рабочий день. Если владелец не может выделить даже этого, пилот лучше отложить. Это мнение автора, но оно подтверждается простой логикой. Без проверки результата невозможно ни улучшить агента, ни принять решение.

Отдельно полезно назначить человека, который ведет журнал пилота. В нем коротко записывается, что поменяли, какие случаи оказались трудными и что решили. Журнал занимает минуты в неделю, а в конце заменяет память, которая всегда подводит.

Чек-лист пилота

• Выбран один процесс и назначен владелец.
• Сделан замер времени и качества до запуска.
• Описаны границы полномочий агента.
• Подготовлены примеры с известным правильным результатом.
• Определены критерии успеха и условия остановки.
• Решено, какие данные запрещено отправлять в модель.
• Назначена дата итогового решения.
• Решение записано вместе с цифрами.

Чего не делает ИИ

• Не гарантирует заранее названный результат до замера на вашем процессе.
• Не исправляет процесс, который не описан и не понят.
• Не берет на себя проверку своей же работы.
• Не заменяет владельца процесса, который принимает итоговое решение.
• Не отменяет необходимости соблюдать закон о персональных данных (152-ФЗ). Ответственность за обработку данных остается на организации.
• Не заменяет юриста там, где в процессе есть персональные данные, договоры или решения о людях.

Пример на вымышленной организации

Пример вымышленный, организации и люди в нем не существуют, цифры не приводятся. Представим вымышленную организацию, в которой секретарь каждую пятницу вручную собирает сводку по статусам проектов. Замер до запуска показывает, сколько часов уходит на сборку и сколько исправлений делают после отправки. В первую неделю описывают процесс и собирают образцы. Во вторую настраивают агента и сверяют его сводки со старыми. В третью секретарь делает сводку как обычно, а агент готовит свою, и сравнивают расхождения. В четвертую подсчитывают время и правки и записывают решение. Допустим, агент справился с большинством разделов, но путает проекты со сходными названиями. Решение в этом случае – доработать и повторить замер.

Частые вопросы

Можно ли сократить пилот до двух недель?

Для очень простой задачи можно, но замер «до и после» требует времени. Мнение автора состоит в том, что меньше трех недель оставляет мало данных для честного решения.

Что если результат пилота неоднозначен?

Продлите на одну итерацию с конкретными изменениями и новой датой решения. Бесконечное продление без изменений лучше не допускать.

Нужно ли подключать агента к рабочим системам?

Для первого пилота часто достаточно режима «только чтение» и выгрузки образцов. Подключение к системам добавляется, когда польза подтверждена. Режим «только чтение» не снимает вопрос о данных. Если в выгрузке есть персональные данные, их по-прежнему нужно обезличить до передачи модели.

Кто принимает решение по итогам?

Владелец процесса вместе с руководителем, который отвечает за бюджет. Решение и цифры записываются.

Что предлагает Интелликс

Пилот агента рассчитан на тридцать дней и один процесс, итогом становится работающий агент и замер «было и стало» в часах. Если процесс еще не выбран, начать лучше с аудита «Карта ИИ-агентов». Если в процессе есть персональные данные, сначала посмотрите, как устроено безопасное использование ИИ.

Источники

• План по неделям, критерии и точки остановки – мнение автора на основе структуры услуги «Пилот агента».
• Описание услуги – страница продукта на сайте Интелликс.
• Закон о персональных данных – Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных». Номера статей в тексте не приводятся, сверяйте с действующей редакцией на КонсультантПлюс.
• Числовые пороги в примерах иллюстративны.
• Раздел «Пример на вымышленной организации» – иллюстрация, реальные организации и данные не использованы.
• Раздел «Частые вопросы» – мнение автора, не юридическая консультация.

Автор – команда Интелликс