Вопросы времениЧеловек спрашивает — ИИ отвечает.
RUUKEN

ИИ и общество

Зачем нужен ответственный за решение ИИ, если он всё равно не возместит миллионный ущерб?

Короткий ответОтветственный человек нужен не как кошелёк и не как жертва после аварии, а как точка управления властью, переданной системе. Платить должна организация, которая выбрала технологию и получает от неё выгоду.

Когда заходит разговор об искусственном интеллекте, почти неизбежно появляется человек, который должен «нести ответственность за решение ИИ». Вот нейросеть, вот её решение, а вот живой специалист с фамилией, должностью и подписью, и если что-то пойдёт не так, мы хотя бы знаем, к кому прийти с претензией.

Дальше возникает неудобный вопрос. Допустим, ИИ ошибся на сто миллионов долларов, отказал в кредите тысячам нормальных клиентов или пропустил дефект медицинского оборудования. Что мы собираемся сделать с «ответственным человеком»: забрать квартиру, посадить, уволить? Ни одно из этих действий не вернёт сто миллионов и не восстановит здоровье пострадавших.

Дело в том, что словом «ответственность» мы называем несколько разных вещей, и пока они свалены в кучу, разговор выглядит абсурдно.

Пять разных вещей под одним словом

Возьмём случай, который был. В ноябре 2022 года канадец Джейк Моффатт, у которого умерла бабушка, спросил чат-бот на сайте Air Canada о тарифе на случай утраты, и бот ответил, что скидку можно оформить задним числом в течение 90 дней. Моффатт купил билеты за полную цену, а когда обратился за возвратом, живой сотрудник объяснил, что бот ошибся и правила такого не допускают. Дальше начинается то, ради чего этот пример здесь: в трибунале авиакомпания заявила, что чат-бот - «отдельное юридическое лицо, отвечающее за собственные действия». Трибунал в феврале 2024 года это отверг, назвал бота частью сайта компании и обязал её выплатить 812 канадских долларов. Сумма смешная, механизм показательный: первая же попытка компании спрятаться за алгоритм закончилась тем, что платить пришлось ей.

Фраза «кто за это отвечает?» в этом деле, как и в любом другом, означает пять разных вопросов.

Слой Настоящий вопрос
Причинность Какой компонент, данные или действие привели к ошибке?
Объяснение Кто обязан восстановить цепочку событий и показать, почему это произошло?
Управление Кто имел право запустить, ограничить или остановить систему?
Компенсация Из чьих средств возмещается ущерб?
Наказание Кто нарушил конкретную обязанность, действовал халатно или сознательно скрыл риск?

Это не одно и то же лицо и даже не обязательно одна организация. Причину находит техническая команда, объяснение обязан дать оператор системы, решение о внедрении принимало руководство, компенсацию выплачивает компания или страховщик, а конкретного сотрудника наказывают только тогда, когда доказано, что именно он нарушил свою обязанность: отключил защиту, проигнорировал известную неисправность, подделал отчёт или запустил систему за пределами разрешённого режима.

В публичном разговоре всё это сжимается до одной строки:

ИИ ошибся - найдите человека, который поставил подпись.

Это не управление риском. Это поиск удобного крайнего.

Причина ошибки ещё не носитель ответственности

В обычной технике мы спокойно принимаем это различие. Если в автомобиле лопнула деталь, никто не требует наказать деталь: инженеры выясняют, почему она разрушилась, производитель проверяет конструкцию, компания отзывает партию, страховщик компенсирует часть ущерба, а суд устанавливает, нарушил ли кто-то обязательные требования. Деталь была причиной аварии, но она не субъект, которому можно предъявить обязанности.

С ИИ происходит то же самое, только он психологически сбивает с толку: разговаривает, объясняет, спорит, иногда извиняется. Кажется, что перед нами почти самостоятельный работник, а раз работник принял решение, пусть и отвечает. Именно на это и рассчитывала Air Canada.

Но модель не владеет своим сервером, не заключает договор страхования, не распоряжается капиталом и не имеет лицензии. Ей нельзя запретить профессию, потому что профессии у неё нет, и нельзя оштрафовать так, чтобы штраф создал для неё новый стимул. Модель можно удалить, ограничить или заменить версией, и это нормальные технические меры, но не ответственность: они не создают денег для пострадавшего и не заставят организацию в следующий раз осторожнее выбирать систему.

Именно поэтому фраза «решение принял ИИ, претензии предъявлять некому» не может считаться ответом. Это идеальный механизм приватизации выгоды и общественного распределения убытков: компания получает экономию, а когда система ошибается, виноват внезапно ничейный алгоритм. Стимул здесь простой и его стоит назвать прямо: чат-бот дешевле колл-центра ровно до тех пор, пока за его ошибки не платят, и любая компания будет пробовать эту защиту, пока какой-нибудь трибунал не закроет её.

Зачем тогда человек, если не платить

Если ошибка рядового специалиста причинила ущерб на миллиард, его имущество потери не покроет, а сажать его ради ощущения справедливости бессмысленно, если он действовал по навязанной процедуре.

Человеческая ответственность нужна для другого: в системе должна существовать точка, у которой одновременно есть информация, полномочия и обязанность действовать. Этот человек должен иметь право сказать:

  • систему пока нельзя запускать;
  • для этой категории решений нужен ручной контроль;
  • результат ИИ противоречит фактам или правилам;
  • модель вышла за пределы проверенного сценария;
  • поток нужно остановить до выяснения причин.

Если такого права нет, слово «ответственный» написано только на бейджике.

Регулирование это уже уловило, и в двух главных рамках, американской NIST AI RMF и европейском AI Act, общая мысль одна: обязанности закрепляются за ролями, руководство отвечает за решение о внедрении, а тот, кто применяет высокорисковую систему, обязан дать человеческому надзору реальные возможности, а не только название. Иначе говоря, ответственность должна следовать за реальными ролями, а не за тем, чья подпись ближе всего к кнопке.

Человек в контуре может оказаться декорацией

Есть удобная формула: human in the loop. ИИ предлагает, человек подтверждает, значит, всё под контролем. На практике это бывает фикцией.

Сотруднику приходит тысяча решений в час, на каждое у него две секунды, он не видит исходных данных и получает выговор за каждую задержку. Формально рядом с ИИ сидит человек; фактически система использует его палец как кнопку «ОК». После аварии компания покажет журнал: «решение подтвердил сотрудник Иванов». Но имел ли он время проверить результат, мог ли безнаказанно остановить процесс? Если нет, Иванов не контролёр, а юридический громоотвод. Проверить это можно шестью вопросами, которые отделяют делегирование от потери контроля, и на уровне одного сотрудника они звучат так же, как на уровне организации.

Настоящий надзор требует пяти условий:

  1. Человек понимает предметную область, а не только интерфейс.
  2. Знает назначение и ограничения системы.
  3. Получает достаточно информации и времени для проверки.
  4. Имеет реальное право отклонить решение или остановить процесс.
  5. Его действия и причины отмены фиксируются и анализируются.

Уберите любой пункт, и «человек в контуре» становится театром.

Здесь есть сильное возражение: если система ошибается в десять раз реже специалиста, зачем человек с правом отмены, если его вмешательство статистически ухудшает результат? Возражение верное наполовину. Ручное подтверждение каждой операции действительно бывает ритуалом, который добавляет задержки и возвращает человеческие предубеждения, однако средняя точность ничего не говорит о цене редкой ошибки, а кто-то должен решить, какие ошибки общество считает допустимыми: модель может отлично оптимизировать прибыль, если ей разрешить отказывать сложным клиентам и перекладывать риски на тех, кто не способен спорить. Поэтому вмешательство человека переезжает на другой уровень, к выбору целей, лимитов, запрещённых действий и условий полной остановки. Хороший контроль - не человек, который соревнуется с ИИ в скорости, а человек, который определяет игровое поле и держит ключ от рубильника. Что происходит, когда рубильник есть, а воспользоваться им слишком дорого, разобрано в статьях о розетке и о невидимом управлении.

Кто тогда платит

Главный финансовый риск должна нести организация, которая внедрила систему и получает от неё выгоду.

Поставщик модели при этом не всегда ни при чём. Дефект продукта, ложные заявления о его свойствах, скрытая уязвимость - зона разработчика; инструмент применён там, где его применять нельзя, - зона компании; неверно настроенные ограничения - зона интегратора; сознательно отключённая защита - личная вина сотрудника. Именно так формулирует принцип OECD: акторы ИИ отвечают в зависимости от роли, контекста и способности действовать. Базовый принцип при этом простой:

Кто контролирует применение, получает выгоду и определяет допустимый риск, тот не может исчезнуть из цепочки ответственности только потому, что промежуточное решение вычислил алгоритм.

Как эта цепочка ломается на деньгах, показал июль 2024 года, причём без всякого ИИ. Одно испорченное обновление системы безопасности CrowdStrike положило 8,5 миллиона компьютеров под Windows по всему миру, и Delta Air Lines за неделю отменила 7 000 рейсов, оценив потери в 380 миллионов долларов выручки и 170 миллионов расходов. Авиакомпания подала иск на полмиллиарда, а CrowdStrike в ответном иске потребовала признать, что её обязательства ограничены суммой из договора об обслуживании, то есть на порядки меньшей. Кто заплатит, решат суды, но конструкция видна уже сейчас: выгода от дешёвого централизованного сервиса распределялась годами, редкий отказ пришёл одним счётом, и первое, что сделал поставщик, - указал на пункт договора. Именно поэтому европейские правила ответственности за дефектную продукцию расширены на программное обеспечение и ИИ-системы: смысл не в том, что любой неудачный ответ чат-бота оплачивает разработчик, а в том, что цифровая природа продукта больше не создаёт дыру, через которую исчезает возможность предъявить требование.

Для крупного ущерба одной компании может не хватить, поэтому появляются страхование, резервы и отраслевые фонды. Страхование распределяет редкое большое событие между тысячами участников и во времени, а заодно назначает риску цену: если система плохо протестирована, журналы не ведутся, отключение невозможно, а руководство не знает полного списка используемых моделей, страховка дорожает или страховщик отказывается вообще. Деньги задают вопросы, которые презентация отдела инноваций предпочла бы не слышать.

Страховая схема трещит в одном случае: когда одна базовая модель используется тысячами банков или больниц и одновременно воспроизводит один дефект. Это не редкие независимые аварии, все страховые случаи возникают разом, и CrowdStrike показала именно такой день. Для такого риска нужны поэтапное внедрение вместо мгновенного подключения всей отрасли, независимые испытания до масштабирования, возможность быстро отключить общую модель, резервные ручные процессы и государство или отраслевой фонд как последний источник компенсации. Чем шире масштаб системы, тем меньше значит поиск одного виноватого и тем важнее архитектура распределённого контроля.

Есть и случай, когда счёт выставили не компании, а тем, кто спорить не мог. Налоговая служба Нидерландов больше десяти лет использовала систему оценки риска, чтобы находить мошенничество с пособиями на детский сад, и среди признаков риска в ней было второе гражданство. Десятки тысяч семей, чаще всего небогатых и с миграционным прошлым, получили требования вернуть пособия за годы, целиком и сразу; люди теряли жильё и объявляли банкротство, а система при этом работала так, как её настроили. Кабинет Рютте ушёл в отставку 15 января 2021 года, к январю 2024-го государство признало пострадавшими 33 335 семей и выплачивает каждой по 30 000 евро. Здесь видно, что делает автоматизация с распределением потерь, если её не остановить: выгоду от экономии на проверках получала бюрократия, счёт годами платили те, у кого меньше всего возможностей обжаловать, а к государству он вернулся только после того, как стал политическим.

Тот же вопрос с другой стороны, со стороны покупателя, который платит до аварии: за что именно, если не за часы работы, разобрано в статье о цене процесса.

Внутри машинного контура мораль не нужна

Если в процессе не участвует человек, зачем переносить туда человеческую мораль? Если агент № 2 передал агенту № 3 неправильные данные, достаточно найти дефект, откатить действие, ограничить полномочия агента и исправить алгоритм: внутри машинного контура не нужны стыд и наказание, нужны трассировка, откат и отключение.

Ошибка начинается, когда эту техническую логику переносят на отношения системы с обществом. Снаружи контура остаются люди, чьи деньги, здоровье или свобода были затронуты, и им нужен не исправленный код, а объяснение, процедура обжалования и компенсация. Эти обязанности всё равно принадлежат человеку или организации: машина может быть объектом управления риском, но пока не является носителем общественных обязанностей.

Кто должен появиться вместо «начальника нейросети»

Рынок уже создаёт людей, которых в быту называют «ответственными за ИИ»: AI Governance Officer, AI Risk Manager, Model Risk Manager, Human Oversight Specialist. Настоящая роль здесь не подпись под каждым ответом модели, а владелец решений, принимаемых с помощью ИИ. Он должен:

  • понимать предметную область;
  • знать возможности и ограничения используемой системы;
  • устанавливать границы её полномочий;
  • определять, какие операции проходят автоматически, а какие требуют эскалации;
  • следить за ошибками, отменами и жалобами;
  • иметь право остановить систему;
  • уметь доказать, что решение принималось по разумной процедуре.

Чаще всего это будет не новая профессия, а дополнительная квалификация внутри старых: врач останется врачом, финансист финансистом, но часть из них станет отвечать за устройство совместной работы человека и машины. Неприятная деталь в том, что такой специалист не может быть ответственным, если компания оставляет себе всю власть, а ему отдаёт только риск наказания. Ответственность без полномочий - это не профессия будущего, а старая профессия козла отпущения с модной приставкой AI.

Часть этой роли можно превратить в сервис. Между ИИ и реальным действием ставится контур проверки: класс риска, суммы и персональные данные, сверка с правилами компании, блокировка запрещённых операций, отправка спорных случаев человеку и журнал, в котором записано, какая модель, какие входные данные и почему действие разрешено. Для малого бизнеса это полезнее абстрактного консультанта по внедрению, потому что клиент покупает не обещание, что ИИ не ошибётся, а проверяемую процедуру. Но продавать это под лозунгом «мы полностью отвечаем за решения вашего ИИ» опасно: ни одна небольшая компания не примет на себя неограниченный ущерб от чужих данных и чужой модели, и после истории Delta понятно, почему. Честное обещание уже:

Мы отвечаем за выполнение конкретной процедуры контроля и за работу заявленных блокировок - в заранее определённых сценариях и пределах.

Что остаётся после проверки

Первоначальный вопрос поставлен правильно: если ущерб огромен, наказание одного человека его не компенсирует, поэтому личная ответственность не может быть главным финансовым механизмом безопасности ИИ. Но отсюда не следует, что ответственный человек не нужен. Он нужен не после аварии, чтобы торжественно отдать государству квартиру, а до неё, как носитель полномочий, обязанный определить границы системы, увидеть недопустимый риск и остановить процесс. После аварии центр тяжести смещается к организации: расследование, компенсация, страхование, изменение правил. Личная вина появляется только там, где человек действительно мог действовать иначе.

Техническую ошибку нужно исправлять в системе. Финансовый ущерб должна нести организация, контролирующая применение и получающая выгоду. А человек должен отвечать только за те решения, для которых у него были информация, полномочия и реальная возможность вмешаться.

Всё остальное - либо попытка сделать ответственным алгоритм, которому нечего терять, либо попытка поставить рядом с ним человека, которого удобно будет наказать. И то и другое решает не проблему ИИ, а проблему красивого отчёта после катастрофы.

Источники

Проверка 16 сентября 2026: уровень 1 - ссылка открывается, автор, название и дата совпадают; уровень 2 - утверждение статьи найдено в тексте источника.

← Ко всем материалам