Российские модели ИИ или зарубежные – как выбрать для задач организации

Выбор языковой модели для организации – это не вопрос вкуса. Он зависит от данных, требований закона, бюджета и качества на ваших задачах. Зарубежные модели часто сильнее в общем случае, российские проще согласовать по требованиям к данным. Но универсального ответа нет, и любые сравнения быстро устаревают. В статье предложен способ выбора, который не зависит от рейтингов, и перечень вопросов, которые стоит задать поставщику.

Начните с данных, а не с модели

Первый вопрос звучит так. Какие данные будут отправляться в модель. Если это общие тексты без персональных данных, выбор свободнее. Если в запросах есть персональные данные граждан России, важны требования закона 152-ФЗ. Вот что важно знать на уровне ориентира.

Статья 18 (обязанности оператора при сборе персональных данных) содержит правило о локализации. При сборе персональных данных граждан России запись, систематизация, накопление, хранение, уточнение и извлечение должны выполняться в базах данных на территории России, с исключениями, которые закон перечисляет.
Статья 12 (трансграничная передача) разрешает передачу персональных данных в иностранные государства при соблюдении ее порядка. С 1 марта 2023 года оператор должен до начала такой передачи уведомить Роскомнадзор. Запрос в зарубежную модель, в котором есть персональные данные граждан России, как правило, является такой передачей, если данные обрабатываются за границей.
Статья 10 относит сведения о здоровье к специальным категориям персональных данных, а статья 11 отдельно регулирует биометрию. Для них действуют повышенные требования.

Поэтому для чувствительных данных чаще выбирают модели, работающие на серверах в России, или модели с открытыми весами, запущенные на собственном оборудовании. Закон менялся несколько раз, поэтому исключения и порядок уведомления лучше уточнять в действующей редакции и с юристом.

Три варианта размещения

Облачный сервис за рубежом. Обычно сильные модели, быстрый старт, но данные уходят за границу. Подходит для задач без персональных данных.
Российский облачный сервис. Данные должны оставаться в России, а условия договора, как правило, ближе к местным требованиям. Нужно проверить, где именно расположены серверы и как используются запросы.
Собственный сервер с открытой моделью. Максимальный контроль, но нужны оборудование и специалисты, а качество зависит от выбранной модели.

Мнение автора состоит в том, что для большинства организаций лучше начать с первого или второго варианта на нейтральных данных, а третий рассматривать, когда объем и чувствительность данных это оправдывают.

Как сравнивать модели на своих задачах

Рейтинги на общих тестах мало говорят о вашей работе. Надежнее собрать свой тест. Возьмите двадцать–тридцать типичных заданий вашего процесса, например письма, сводки, разбор обращений. Подготовьте эталонные ответы или критерии. Дайте те же задания двум–трем моделям и оцените результаты вслепую, не зная, какая модель что написала. Запишите долю принятых ответов, количество ошибок в фактах и время. Тест на вымышленных или обезличенных данных можно повторять при выходе новых версий.

Сменяемость модели

Модели меняются быстро. Условия сервисов, цены и доступность в России тоже. Поэтому архитектура агента должна позволять заменить модель без переписывания всего решения. Это не техническая роскошь, а страховка от зависимости от одного поставщика. Вопрос поставщику решения звучит так. Что нужно сделать, чтобы перейти на другую модель, и сколько это займет.

Вопросы поставщику модели

Где расположены серверы, на которых обрабатываются запросы.
Используются ли ваши запросы для обучения моделей и можно ли это отключить.
Как долго хранятся запросы и как их удалить.
Какие договорные гарантии предоставляются и на каком языке они составлены.
Какая доступность сервиса и что происходит при сбое.
Как формируется цена, есть ли ограничения по объему.
Что будет с вашими данными при завершении договора.

Стоимость

Цены на модели и вычисления зависят от поставщика и объема, они меняются, и приводить цифры в статье было бы ошибкой. Для планирования важно считать не цену за запрос, а цену результата. Сколько стоит принятый черновик с учетом правок и проверки. Часто выясняется, что стоимость модели мала по сравнению со временем сотрудника, и выбор определяют качество и требования к данным, а не цена.

Как сделать выбор документом

Решение о выборе модели стоит записать на одной странице. Какие задачи, какие данные, какие модели сравнивались, как проходил тест, кто принял решение и когда его пересматривать. Такой документ нужен по трем причинам. Он помогает показать, на чем основано решение, если появятся вопросы. Он помогает новому сотруднику понять логику. И он позволяет через полгода повторить тест на новых версиях и увидеть, изменилось ли что-то. Мнение автора состоит в том, что запись решения важнее самого решения, потому что она делает выбор проверяемым.

В записи полезно указать и то, чего вы не проверяли. Например, что тест проведен только на русском языке или только на коротких текстах. Эти оговорки спасают от переноса вывода на задачи, для которых он не делался.

Что делать в первую очередь

Если организация еще не определилась, достаточно трех шагов за неделю. Составить список задач и отметить, где есть персональные данные. Для задач без них собрать небольшой тест и сравнить две–три модели. Для задач с данными подготовить вопросы юристу и поставщику. Такой план не требует решения о покупке. Он дает материал для обсуждения и защищает от выбора по рекламе, где результат красив, а условия обработки данных не раскрыты.

Чек-лист выбора

Определены типы данных, которые будут отправляться в модель.
Отмечено, есть ли среди них сведения о здоровье, биометрия и другие особые категории.
Юрист организации оценил требования к размещению и к трансграничной передаче.
Собран свой тест из двадцати–тридцати заданий.
Модели оценены вслепую, результаты записаны.
Получены ответы поставщика на вопросы о хранении и обучении.
Предусмотрена возможность замены модели.
Выбран порядок пересмотра выбора, например раз в полгода.

Чего не делает ИИ

Не сообщает надежно, где физически обрабатываются ваши данные.
Не гарантирует одинаковое качество после обновления версии модели.
Не решает, допустима ли передача данных за границу и нужно ли уведомление.
Не заменяет собственные тесты на ваших задачах.
Не снимает обязанностей оператора персональных данных.

Пример на вымышленной организации

Пример вымышленный, организации и люди в нем не существуют, цифры не приводятся. Представим вымышленную организацию с двумя задачами. Первая, сокращать опубликованные новости для рассылки, персональных данных там нет. Вторая, разбирать обращения граждан, где есть имена и контакты. Для первой задачи собирают тест из тридцати новостей и сравнивают три модели вслепую, выбирая ту, чьи тексты принимают без правок чаще. Для второй сначала решают вопрос с юристом. Обращения проходят через шлюз и обрабатываются моделью на российском сервере, а выбор подтверждают тем же способом, но на вымышленных обращениях. Так для двух задач получаются два разных ответа, и это нормально.

Частые вопросы

Российские модели хуже зарубежных?

Универсального ответа нет, качество зависит от задачи и версии. Поэтому надежнее проверять на своих заданиях, а не полагаться на общие рейтинги.

Обязательно ли ставить собственный сервер?

Нет. Собственный сервер оправдан при больших объемах или высокой чувствительности данных. Для остальных случаев достаточно российского облачного сервиса.

Как часто пересматривать выбор?

Раз в полгода или при заметном изменении условий. Ваш тест из типовых заданий позволяет сделать это быстро.

Что делать, если выбранный сервис стал недоступен?

Заранее предусмотреть запасную модель и проверять, что агент на нее переключается. Это часть общего принципа отсутствия единой точки отказа.

Что предлагает Интелликс

Решения Интелликс проектируются так, чтобы модель можно было сменить. Для данных граждан России мы предлагаем варианты на российских моделях и серверах, а выбранный вариант и место обработки фиксируются в договоре. Подобрать вариант под ваши данные можно на консультации по 152-ФЗ или в рамках аудита «Карта ИИ-агентов», его стоимость 45 000 ₽. Для защиты данных при использовании внешних моделей подойдет шлюз персональных данных.

Источники

Федеральный закон от 27.07.2006 N 152-ФЗ «О персональных данных», статьи 10, 11, 12 и 18. Сверяйте с действующей редакцией на КонсультантПлюс, закон менялся несколько раз.
Три варианта размещения, методика теста, вопросы поставщику – мнение автора. Рейтинги и цены моделей не приводятся намеренно.
Раздел «Пример на вымышленной организации» – иллюстрация, реальные организации и данные не использованы.
Раздел «Частые вопросы» – мнение автора, не юридическая консультация.

Автор – команда Интелликс