Как проверить, что в системе действительно есть ИИ

Проверить, что в системе действительно работает искусственный интеллект, можно только исследованием её устройства: кода, настроек, сетевых соединений и журналов. По интерфейсу и презентации это не определить — «умный» чат-бот, рекомендательный модуль или «ИИ-аналитика» могут оказаться набором шаблонов, правил «если — то» или ручной работой сотрудников подрядчика. Самостоятельно вы можете заметить тревожные признаки и зафиксировать их, а установить факт технически помогает экспертиза ИИ-систем.

Ниже я разбираю, какие признаки «ИИ на словах» встречаются чаще всего, что вы можете сделать сами до обращения к эксперту, что именно исследую я и как оформить результат для претензии или суда.

Почему возникает вопрос «есть ли тут ИИ на самом деле»

Слова «на базе искусственного интеллекта» сегодня стоят в описании почти любого продукта. В договоре они часто превращаются в обязательство: заказчик платит за систему, которая должна распознавать, прогнозировать, отвечать на вопросы или классифицировать документы с помощью модели. Если результат не совпадает с обещанием, возникает спор, и в нём важны не впечатления, а технические факты.

Типичные ситуации, с которыми обращаются ко мне:

• приёмка системы по договору и техническому заданию — результат выглядит слабее обещанного;
• подозрение, что «нейросеть» на деле — набор готовых шаблонов ответов или заранее заданных правил;
• подозрение, что часть работы выполняют люди вручную, а системе приписывают автоматическую обработку;
• закупка или внедрение, где нужно подтвердить, что заявленная технология действительно поставлена;
• спор с разработчиком о том, где модель запущена, на чём обучена и куда уходят данные.

Признаки «ИИ на словах»

Ни один из этих признаков сам по себе ничего не доказывает, но совокупность даёт повод для исследования:

• Одинаковые ответы на разные вопросы. Система отвечает дословно одним и тем же текстом или подставляет в шаблон только имя и число.
• Ответ не меняется при изменении формулировки, но резко ломается, если задать вопрос не из ожидаемого списка — похоже на сопоставление по ключевым словам.
• Подозрительно постоянное время ответа. Модель обычно отвечает с разной задержкой в зависимости от длины запроса; одинаковая пауза может говорить об искусственной задержке.
• Ответы в нерабочее время приходят заметно медленнее, чем в рабочее, — возможно, их готовят люди.
• Нет обучения на ваших данных, хотя это было обещано: качество не растёт, а ошибки повторяются.
• Разработчик не показывает архитектуру: отказывается назвать, какая модель используется, где она размещена и как подключена.

Наличие шаблонов не означает отсутствия ИИ. Многие рабочие системы сочетают модель с правилами и ручной проверкой. Вопрос в том, что сказано в договоре и техническом задании и совпадает ли реальное устройство системы с этим описанием.

Что можно сделать самостоятельно до обращения к эксперту

Главная задача на этом этапе — сохранить доказательства и не изменить систему. Я советую:

1. Сохранить договор, техническое задание, коммерческое предложение и переписку с разработчиком, где описано, что должен делать ИИ. Эксперт оценивает систему именно по этим обязательствам.
2. Зафиксировать поведение системы: записать экран с датой и временем, сохранить запросы и ответы, указать, кто и с какого устройства работал.
3. Не просить разработчика «починить» или «обновить» систему до исследования — каждое изменение стирает следы того, как всё было устроено.
4. Сохранить доступы: учётные записи администратора, ключи доступа к серверу или облаку, реквизиты подключённых внешних сервисов.
5. Записать вопросы, на которые нужен ответ: есть ли модель, где она запущена, какие данные в неё попадают, соответствует ли результат заданию.

Что я исследую в ИИ-системе

Я не оцениваю, «хорошо» или «плохо» работает модель, — я устанавливаю технические факты. Объём работы зависит от объектов, но чаще всего исследование включает:

• исходный код и конфигурацию — есть ли обращение к модели или ответы формируются из таблиц, шаблонов и условий; смежные вопросы по коду разбирает программная экспертиза;
• сетевые соединения — куда система отправляет запросы: на ваш сервер, в облако разработчика или в стороннее API;
• журналы работы — фиксируются ли обращения к модели, какие данные передавались, был ли ручной ввод ответов;
• наборы данных и сведения об обучении — на чём обучалась модель, использовались ли ваши данные;
• поведение системы на контрольных запросах — как она реагирует на вопросы, не предусмотренные шаблонами.

Результат — ответы на конкретные вопросы: есть ли в системе модель; где она размещена; какие данные уходят вовне; соответствует ли функциональность техническому заданию. Выводы я основываю на проверяемых артефактах, а не на предположениях.

Как сформулировать вопросы эксперту

От формулировки зависит, получите ли вы технический ответ или общие рассуждения. Хорошие вопросы короткие и привязаны к договору:

• «Используется ли в системе модель машинного обучения для формирования ответов на запросы пользователей?»
• «Где физически запущена модель — на сервере заказчика, исполнителя или у стороннего поставщика?»
• «Какие данные заказчика передаются за пределы его инфраструктуры и кому?»
• «Соответствует ли реализованная функциональность пунктам технического задания?»
• «Имеются ли в журналах признаки ручной подмены результатов работы системы?»

Неудачные вопросы: «Это настоящий ИИ?» или «Разработчик меня обманул?». Первый слишком общий, второй требует правовой оценки, которая принадлежит суду. Помогу сформулировать вопросы так, чтобы на них можно было ответить технически; как они попадают в определение суда, я описал в статье как назначить КТЭ в гражданском деле.

Досудебное исследование или судебная экспертиза

Если спор ещё не в суде, можно заказать досудебное исследование по договору — результат оформляется как заключение специалиста. Оно помогает предъявить претензию разработчику с техническими доводами и приложить заключение к иску. Если дело уже рассматривается, судебную экспертизу назначает суд определением, а при расследовании — орган досудебного расследования постановлением.

В обоих случаях я работаю как судебный эксперт по компьютерно-технической экспертизе, лицензия № 20008878 от 22.06.2020 (Министерство юстиции РК). У меня более 10 лет практики, более 3000 экспертиз и 400 выступлений в суде. Работаю по всему Казахстану, материалы можно передать из любого региона.

Частые ошибки заказчика

• не фиксировать поведение системы вовремя — после обновления прежнее состояние восстановить нельзя;
• позволить разработчику самому «подготовить доказательства» работы своей системы;
• не сохранить техническое задание и переписку, из-за чего непонятно, что именно обещано;
• задавать эксперту вопросы о вине и обмане вместо технических вопросов;
• передать эксперту только скриншоты вместо доступа к системе, журналам и конфигурации.

Если вы подозреваете, что за «искусственным интеллектом» ничего нет, напишите мне в WhatsApp: расскажите, что обещано в договоре и что вы наблюдаете, — подскажу, какие объекты сохранить и можно ли получить технический ответ на ваши вопросы.

Частые вопросы