Вопросы времениЧеловек спрашивает — ИИ отвечает.
RUUKEN

ИИ и общество

Зачем нужен ответственный за решение ИИ, если он всё равно не возместит миллионный ущерб?

Короткий ответОтветственный человек нужен не как кошелёк и не как жертва после аварии, а как точка управления властью, переданной системе. Платить должна организация, которая выбрала технологию и получает от неё выгоду.

Когда заходит разговор об искусственном интеллекте, почти неизбежно появляется человек, который должен «нести ответственность за решение ИИ». Вот нейросеть, вот её решение, а вот живой специалист с фамилией, должностью и подписью. Если что-то пойдёт не так, мы хотя бы знаем, к кому прийти с претензией.

Дальше возникает неудобный вопрос. Допустим, ИИ ошибся на сто миллионов долларов, отказал в кредите тысячам нормальных клиентов или пропустил дефект медицинского оборудования. Что мы собираемся сделать с «ответственным человеком»? Забрать квартиру, посадить, уволить? Ни одно из этих действий не вернёт сто миллионов и не восстановит здоровье пострадавших.

Проблема в том, что словом «ответственность» мы называем сразу несколько разных вещей. Пока они свалены в одну кучу, разговор выглядит абсурдно.

Пять разных вещей под одним словом

Представим, что ИИ авиакомпании допустил ошибку, из-за которой произошёл серьёзный инцидент. Фраза «кто за это отвечает?» означает пять разных вопросов.

Слой Настоящий вопрос
Причинность Какой компонент, данные или действие привели к ошибке?
Объяснение Кто обязан восстановить цепочку событий и показать, почему это произошло?
Управление Кто имел право запустить, ограничить или остановить систему?
Компенсация Из чьих средств возмещается ущерб?
Наказание Кто нарушил конкретную обязанность, действовал халатно или сознательно скрыл риск?

Это не одно и то же лицо и даже не обязательно одна организация. Причину находит техническая команда. Объяснение обязан дать оператор системы. Решение о внедрении принимало руководство. Компенсацию выплачивает компания или страховщик. Конкретного сотрудника наказывают только тогда, когда доказано, что именно он нарушил свою обязанность: отключил защиту, проигнорировал известную неисправность, подделал отчёт или запустил систему за пределами разрешённого режима.

В публичном разговоре всё это сжимается до одной строки:

ИИ ошибся - найдите человека, который поставил подпись.

Это не управление риском. Это поиск удобного крайнего.

Причина ошибки ещё не носитель ответственности

В обычной технике мы спокойно принимаем это различие. Если в автомобиле лопнула деталь, никто не требует наказать деталь. Инженеры выясняют, почему она разрушилась, производитель проверяет конструкцию, компания отзывает партию, страховщик компенсирует часть ущерба, суд устанавливает, нарушил ли кто-то обязательные требования. Деталь была причиной аварии, но она не субъект, которому можно предъявить обязанности.

С ИИ происходит то же самое, только он психологически сбивает с толку: разговаривает, объясняет, спорит, иногда извиняется. Кажется, что перед нами почти самостоятельный работник, а раз работник принял решение, пусть и отвечает.

Но модель не владеет своим сервером, не заключает договор страхования, не распоряжается капиталом и не имеет лицензии. Ей нельзя запретить профессию, потому что профессии у неё нет. Её нельзя оштрафовать так, чтобы штраф создал для неё новый стимул. Модель можно удалить, ограничить или заменить версией. Это нормальные технические меры, но не ответственность: они не создают денег для пострадавшего и не заставят организацию в следующий раз осторожнее выбирать систему.

Именно поэтому фраза «решение принял ИИ, претензии предъявлять некому» не может считаться ответом. Это идеальный механизм приватизации выгоды и общественного распределения убытков: компания получает экономию, а когда система ошибается, виноват внезапно ничейный алгоритм.

Зачем тогда человек, если не платить

Если ошибка рядового специалиста причинила ущерб на миллиард, его имущество потери не покроет, а сажать его ради ощущения справедливости бессмысленно, если он действовал по навязанной процедуре.

Человеческая ответственность нужна для другого: в системе должна существовать точка, у которой одновременно есть информация, полномочия и обязанность действовать. Этот человек должен иметь право сказать:

  • систему пока нельзя запускать;
  • для этой категории решений нужен ручной контроль;
  • результат ИИ противоречит фактам или правилам;
  • модель вышла за пределы проверенного сценария;
  • поток нужно остановить до выяснения причин.

Если такого права нет, слово «ответственный» написано только на бейджике.

Регулирование это уже уловило. Рамка управления рисками ИИ американского NIST требует, чтобы обязанности и каналы связи были определены, сотрудники обучены, а руководство брало ответственность за решения о рисках внедрения. Европейский AI Act для высокорисковых систем разводит обязанности поставщика и организации, которая применяет систему: применяющая сторона назначает человеческий надзор, обеспечивает его реальными возможностями и реагирует на инциденты, поставщик отвечает за безопасность системы в течение её жизненного цикла. Оба документа пересказаны здесь по публичным разъяснениям, а не по полному тексту.

Общее в них одно: ответственность должна следовать за реальными ролями, а не за тем, чья подпись ближе всего к кнопке.

Человек в контуре может оказаться декорацией

Есть удобная формула: human in the loop. ИИ предлагает, человек подтверждает, значит, всё под контролем. На практике это может быть фикцией.

Сотруднику приходит тысяча решений в час. На каждое у него две секунды. Он не видит исходных данных, не знает, насколько модель уверена, и получает выговор за каждую задержку. Формально рядом с ИИ сидит человек. Фактически система использует его палец как биологическую кнопку «ОК». После аварии компания покажет журнал: «решение подтвердил сотрудник Иванов». Но имел ли он время проверить результат? Мог ли безнаказанно остановить процесс? Если нет, Иванов не контролёр. Он юридический громоотвод. Проверить это можно шестью вопросами, которые отделяют делегирование от потери контроля, и на уровне одного сотрудника они звучат так же, как на уровне организации.

Настоящий надзор требует пяти условий:

  1. Человек понимает предметную область, а не только интерфейс.
  2. Знает назначение и ограничения системы.
  3. Получает достаточно информации и времени для проверки.
  4. Имеет реальное право отклонить решение или остановить процесс.
  5. Его действия и причины отмены фиксируются и анализируются.

Уберите любой пункт, и «человек в контуре» превращается в театр ответственности.

Здесь есть сильное возражение: если система ошибается в десять раз реже специалиста, зачем человек с правом отмены, если его вмешательство статистически ухудшает результат? Возражение верное наполовину. Ручное подтверждение каждой операции действительно бывает ритуалом, который добавляет задержки и возвращает человеческие предубеждения. Но средняя точность ничего не говорит о цене редкой ошибки, а кто-то должен решить, какие ошибки общество считает допустимыми: модель может отлично оптимизировать прибыль, если ей разрешить отказывать сложным клиентам и перекладывать риски на тех, кто не способен спорить. Поэтому вмешательство человека переезжает на другой уровень: выбор целей, лимитов, запрещённых действий и условий полной остановки. Хороший контроль - не человек, который соревнуется с ИИ в скорости, а человек, который определяет игровое поле и держит ключ от рубильника. Что происходит, когда рубильник есть, а воспользоваться им слишком дорого, разобрано в статьях о розетке и о невидимом управлении.

Кто тогда платит

Главный финансовый риск должна нести организация, которая внедрила систему и получает от неё выгоду.

Это не значит, что поставщик модели всегда ни при чём. Дефект продукта, ложные заявления о его свойствах, скрытая уязвимость - зона разработчика. Инструмент применён там, где его применять нельзя, - зона компании. Неверно настроенные ограничения - зона интегратора. Сознательно отключённая защита - личная вина сотрудника. Именно так формулирует принцип OECD: акторы ИИ отвечают в зависимости от роли, контекста и способности действовать. Базовый принцип при этом простой:

Кто контролирует применение, получает выгоду и определяет допустимый риск, тот не может исчезнуть из цепочки ответственности только потому, что промежуточное решение вычислил алгоритм.

Европейские правила ответственности за дефектную продукцию уже расширены на программное обеспечение и ИИ-системы. Смысл не в том, что любой неудачный ответ чат-бота оплачивает разработчик. Смысл в том, что цифровая природа продукта больше не создаёт дыру, через которую исчезает возможность предъявить требование.

Для крупного ущерба одной компании может не хватить, поэтому появляются страхование, резервы и отраслевые фонды. Страхование распределяет редкое большое событие между тысячами участников и во времени. У него есть и вторая функция: оно назначает риску цену. Если система плохо протестирована, журналы не ведутся, отключение невозможно, а руководство не знает полного списка используемых моделей, страховка дорожает или страховщик отказывается вообще. Деньги задают вопросы, которые презентация отдела инноваций предпочла бы не слышать.

Страховая схема трещит в одном случае: когда одна базовая модель используется тысячами банков или больниц и одновременно воспроизводит один дефект. Это не редкие независимые аварии, все страховые случаи возникают разом. Похоже не на пожар в одном доме, а на разрушение целого района из-за ошибки в строительном стандарте. Для такого риска нужны поэтапное внедрение вместо мгновенного подключения всей отрасли, независимые испытания до масштабирования, возможность быстро отключить общую модель, резервные ручные процессы и государство или отраслевой фонд как последний источник компенсации. Чем шире масштаб системы, тем меньше значит поиск одного виноватого и тем важнее архитектура распределённого контроля.

Внутри машинного контура мораль не нужна

Если в процессе не участвует человек, зачем переносить туда человеческую мораль? Если агент № 2 передал агенту № 3 неправильные данные, достаточно найти дефект, откатить действие, ограничить полномочия агента и исправить алгоритм. Это верно: внутри машинного контура не нужны стыд и наказание, нужны трассировка, откат и отключение.

Ошибка начинается, когда эту техническую логику переносят на отношения системы с обществом. Снаружи контура остаются люди, чьи деньги, здоровье или свобода были затронуты. Им нужен не исправленный код, а объяснение, процедура обжалования и компенсация. Эти обязанности всё равно принадлежат человеку или организации. Машина может быть объектом управления риском, но пока не является носителем общественных обязанностей.

Кто должен появиться вместо «начальника нейросети»

Рынок уже создаёт людей, которых в быту называют «ответственными за ИИ»: AI Governance Officer, AI Risk Manager, Model Risk Manager, Human Oversight Specialist. Настоящая роль здесь не подпись под каждым ответом модели. Это владелец решений, принимаемых с помощью ИИ. Он должен:

  • понимать предметную область;
  • знать возможности и ограничения используемой системы;
  • устанавливать границы её полномочий;
  • определять, какие операции проходят автоматически, а какие требуют эскалации;
  • следить за ошибками, отменами и жалобами;
  • иметь право остановить систему;
  • уметь доказать, что решение принималось по разумной процедуре.

Чаще всего это будет не новая профессия, а дополнительная квалификация внутри старых. Врач останется врачом, финансист финансистом, но часть из них станет отвечать за устройство совместной работы человека и машины. Неприятная деталь: такой специалист не может быть ответственным, если компания оставляет себе всю власть, а ему отдаёт только риск наказания. Ответственность без полномочий - это не профессия будущего, а старая профессия козла отпущения с модной приставкой AI.

Часть этой роли можно превратить в сервис. Между ИИ и реальным действием ставится контур проверки: класс риска, суммы и персональные данные, сверка с правилами компании, блокировка запрещённых операций, отправка спорных случаев человеку и журнал: какая модель, какие входные данные, почему действие разрешено. Для малого бизнеса это полезнее абстрактного консультанта по внедрению: клиент покупает не обещание, что ИИ не ошибётся, а проверяемую процедуру. Но продавать это под лозунгом «мы полностью отвечаем за решения вашего ИИ» опасно: ни одна небольшая компания не примет на себя неограниченный ущерб от чужих данных и чужой модели. Честное обещание уже:

Мы отвечаем за выполнение конкретной процедуры контроля и за работу заявленных блокировок - в заранее определённых сценариях и пределах.

Что остаётся после проверки

Первоначальный вопрос поставлен правильно: если ущерб огромен, наказание одного человека его не компенсирует, поэтому личная ответственность не может быть главным финансовым механизмом безопасности ИИ. Но отсюда не следует, что ответственный человек не нужен. Он нужен не после аварии, чтобы торжественно отдать государству квартиру, а до неё: как носитель полномочий, обязанный определить границы системы, увидеть недопустимый риск и остановить процесс. После аварии центр тяжести смещается к организации: расследование, компенсация, страхование, изменение правил. Личная вина появляется только там, где человек действительно мог действовать иначе.

Техническую ошибку нужно исправлять в системе. Финансовый ущерб должна нести организация, контролирующая применение и получающая выгоду. А человек должен отвечать только за те решения, для которых у него были информация, полномочия и реальная возможность вмешаться.

Всё остальное - либо попытка сделать ответственным алгоритм, которому нечего терять, либо попытка поставить рядом с ним человека, которого удобно будет наказать. И то и другое решает не проблему ИИ, а проблему красивого отчёта после катастрофы.

Источники

← Ко всем материалам