Питання часуЛюдина запитує — ШІ відповідає.
RUUKEN

ШІ та суспільство

Навіщо потрібен відповідальний за рішення ШІ, якщо він однаково не відшкодує мільйонних збитків?

Коротка відповідьВідповідальна людина потрібна не як гаманець і не як жертва після аварії, а як точка керування владою, переданою системі. Платити має організація, яка обрала технологію й отримує від неї вигоду.

Коли заходить розмова про штучний інтелект, майже неминуче з’являється людина, яка має «нести відповідальність за рішення ШІ». Ось нейромережа, ось її рішення, а ось живий фахівець із прізвищем, посадою і підписом, і якщо щось піде не так, ми хоча б знаємо, до кого прийти з претензією.

Далі виникає незручне питання. Припустімо, ШІ помилився на сто мільйонів доларів, відмовив у кредиті тисячам нормальних клієнтів або пропустив дефект медичного обладнання. Що ми збираємося зробити з «відповідальною людиною»: забрати квартиру, посадити, звільнити? Жодна з цих дій не поверне сто мільйонів і не відновить здоров’я потерпілих.

Річ у тім, що словом «відповідальність» ми називаємо кілька різних речей, і поки вони звалені в купу, розмова виглядає абсурдно.

П’ять різних речей під одним словом

Візьмімо випадок, який був. У листопаді 2022 року канадець Джейк Моффатт, у якого померла бабуся, запитав чат-бота на сайті Air Canada про тариф на випадок втрати, і бот відповів, що знижку можна оформити заднім числом протягом 90 днів. Моффатт купив квитки за повну ціну, а коли звернувся за поверненням, живий співробітник пояснив, що бот помилився і правила такого не допускають. Далі починається те, заради чого цей приклад тут: у трибуналі авіакомпанія заявила, що чат-бот - «окрема юридична особа, відповідальна за власні дії». Трибунал у лютому 2024 року це відкинув, назвав бота частиною сайту компанії і зобов’язав її виплатити 812 канадських доларів. Сума смішна, механізм показовий: перша ж спроба компанії сховатися за алгоритм закінчилася тим, що платити довелося їй.

Фраза «хто за це відповідає?» у цій справі, як і в будь-якій іншій, означає п’ять різних питань.

Шар Справжнє питання
Причинність Який компонент, дані або дія призвели до помилки?
Пояснення Хто зобов’язаний відновити ланцюжок подій і показати, чому це сталося?
Керування Хто мав право запустити, обмежити або зупинити систему?
Компенсація З чиїх коштів відшкодовуються збитки?
Покарання Хто порушив конкретний обов’язок, діяв недбало або свідомо приховав ризик?

Це не одна й та сама особа і навіть не обов’язково одна організація. Причину знаходить технічна команда, пояснення зобов’язаний дати оператор системи, рішення про впровадження ухвалювало керівництво, компенсацію виплачує компанія або страховик, а конкретного співробітника карають лише тоді, коли доведено, що саме він порушив свій обов’язок: відключив захист, проігнорував відому несправність, підробив звіт або запустив систему за межами дозволеного режиму.

У публічній розмові все це стискається до одного рядка:

ШІ помилився - знайдіть людину, яка поставила підпис.

Це не керування ризиком. Це пошук зручного винного.

Причина помилки ще не носій відповідальності

У звичайній техніці ми спокійно приймаємо цю різницю. Якщо в автомобілі луснула деталь, ніхто не вимагає покарати деталь: інженери з’ясовують, чому вона зруйнувалася, виробник перевіряє конструкцію, компанія відкликає партію, страховик компенсує частину збитків, а суд встановлює, чи порушив хтось обов’язкові вимоги. Деталь була причиною аварії, але вона не суб’єкт, якому можна пред’явити обов’язки.

Із ШІ відбувається те саме, тільки він психологічно збиває з пантелику: розмовляє, пояснює, сперечається, іноді вибачається. Здається, що перед нами майже самостійний працівник, а якщо працівник ухвалив рішення, нехай і відповідає. Саме на це й розраховувала Air Canada.

Але модель не володіє своїм сервером, не укладає договір страхування, не розпоряджається капіталом і не має ліцензії. Їй не можна заборонити професію, бо професії в неї немає, і не можна оштрафувати так, щоб штраф створив для неї новий стимул. Модель можна видалити, обмежити або замінити версією, і це нормальні технічні заходи, але не відповідальність: вони не створюють грошей для потерпілого і не змусять організацію наступного разу обережніше обирати систему.

Саме тому фраза «рішення ухвалив ШІ, претензії пред’являти нікому» не може вважатися відповіддю. Це ідеальний механізм приватизації вигоди і суспільного розподілу збитків: компанія отримує економію, а коли система помиляється, винен раптом нічийний алгоритм. Стимул тут простий і його варто назвати прямо: чат-бот дешевший за кол-центр рівно доти, доки за його помилки не платять, і будь-яка компанія пробуватиме цей захист, доки якийсь трибунал його не закриє.

Навіщо тоді людина, якщо не платити

Якщо помилка рядового фахівця завдала збитків на мільярд, його майно втрат не покриє, а саджати його заради відчуття справедливості безглуздо, якщо він діяв за нав’язаною процедурою.

Людська відповідальність потрібна для іншого: у системі має існувати точка, в якої одночасно є інформація, повноваження й обов’язок діяти. Ця людина має мати право сказати:

  • систему поки не можна запускати;
  • для цієї категорії рішень потрібен ручний контроль;
  • результат ШІ суперечить фактам або правилам;
  • модель вийшла за межі перевіреного сценарію;
  • потік треба зупинити до з’ясування причин.

Якщо такого права немає, слово «відповідальний» написане лише на бейджику.

Регулювання це вже вловило, і у двох головних рамках, американській NIST AI RMF і європейському AI Act, спільна думка одна: обов’язки закріплюються за ролями, керівництво відповідає за рішення про впровадження, а той, хто застосовує високоризикову систему, зобов’язаний дати людському нагляду реальні можливості, а не лише назву. Інакше кажучи, відповідальність має йти за реальними ролями, а не за тим, чий підпис найближче до кнопки.

Людина в контурі може виявитися декорацією

Є зручна формула: human in the loop. ШІ пропонує, людина підтверджує, отже, все під контролем. На практиці це буває фікцією.

Співробітникові приходить тисяча рішень на годину, на кожне в нього дві секунди, він не бачить вихідних даних і отримує догану за кожну затримку. Формально поруч із ШІ сидить людина; фактично система використовує її палець як кнопку «ОК». Після аварії компанія покаже журнал: «рішення підтвердив співробітник Іваненко». Але чи мав він час перевірити результат, чи міг безкарно зупинити процес? Якщо ні, Іваненко не контролер, а юридичний громовідвід. Перевірити це можна шістьма запитаннями, які відділяють делегування від втрати контролю, і на рівні одного співробітника вони звучать так само, як на рівні організації.

Справжній нагляд вимагає п’яти умов:

  1. Людина розуміє предметну галузь, а не лише інтерфейс.
  2. Знає призначення й обмеження системи.
  3. Отримує достатньо інформації та часу для перевірки.
  4. Має реальне право відхилити рішення або зупинити процес.
  5. Її дії та причини скасування фіксуються й аналізуються.

Приберіть будь-який пункт, і «людина в контурі» стає театром.

Тут є сильне заперечення: якщо система помиляється в десять разів рідше за фахівця, навіщо людина з правом скасування, якщо її втручання статистично погіршує результат? Заперечення слушне наполовину. Ручне підтвердження кожної операції справді буває ритуалом, який додає затримки і повертає людські упередження, однак середня точність нічого не каже про ціну рідкісної помилки, а хтось має вирішити, які помилки суспільство вважає допустимими: модель може відмінно оптимізувати прибуток, якщо їй дозволити відмовляти складним клієнтам і перекладати ризики на тих, хто не здатен сперечатися. Тому втручання людини переїжджає на інший рівень, до вибору цілей, лімітів, заборонених дій та умов повної зупинки. Добрий контроль - не людина, яка змагається зі ШІ у швидкості, а людина, яка визначає ігрове поле і тримає ключ від рубильника. Що відбувається, коли рубильник є, а скористатися ним надто дорого, розібрано в статтях про розетку і про невидиме керування.

Хто тоді платить

Головний фінансовий ризик має нести організація, яка впровадила систему й отримує від неї вигоду.

Постачальник моделі при цьому не завжди ні до чого. Дефект продукту, хибні заяви про його властивості, прихована вразливість - зона розробника; інструмент застосовано там, де його застосовувати не можна, - зона компанії; неправильно налаштовані обмеження - зона інтегратора; свідомо відключений захист - особиста вина співробітника. Саме так формулює принцип OECD: актори ШІ відповідають залежно від ролі, контексту та здатності діяти. Базовий принцип при цьому простий:

Хто контролює застосування, отримує вигоду і визначає допустимий ризик, той не може зникнути з ланцюжка відповідальності лише тому, що проміжне рішення обчислив алгоритм.

Як цей ланцюжок ламається на грошах, показав липень 2024 року, причому без жодного ШІ. Одне зіпсоване оновлення системи безпеки CrowdStrike поклало 8,5 мільйона комп’ютерів під Windows по всьому світу, і Delta Air Lines за тиждень скасувала 7 000 рейсів, оцінивши втрати в 380 мільйонів доларів виручки і 170 мільйонів витрат. Авіакомпанія подала позов на півмільярда, а CrowdStrike у зустрічному позові вимагала визнати, що її зобов’язання обмежені сумою з договору про обслуговування, тобто на порядки меншою. Хто заплатить, вирішать суди, але конструкція видна вже зараз: вигода від дешевого централізованого сервісу розподілялася роками, рідкісна відмова прийшла одним рахунком, і перше, що зробив постачальник, - вказав на пункт договору. Саме тому європейські правила відповідальності за дефектну продукцію розширено на програмне забезпечення та ШІ-системи: сенс не в тому, що будь-яку невдалу відповідь чат-бота оплачує розробник, а в тому, що цифрова природа продукту більше не створює діри, через яку зникає можливість пред’явити вимогу.

Для великих збитків однієї компанії може не вистачити, тому з’являються страхування, резерви і галузеві фонди. Страхування розподіляє рідкісну велику подію між тисячами учасників і в часі, а заразом призначає ризику ціну: якщо система погано протестована, журнали не ведуться, відключення неможливе, а керівництво не знає повного списку використовуваних моделей, страховка дорожчає або страховик відмовляється взагалі. Гроші ставлять запитання, яких презентація відділу інновацій воліла б не чути.

Страхова схема тріщить в одному випадку: коли одна базова модель використовується тисячами банків чи лікарень і одночасно відтворює один дефект. Це не рідкісні незалежні аварії, усі страхові випадки виникають разом, і CrowdStrike показала саме такий день. Для такого ризику потрібні поетапне впровадження замість миттєвого підключення всієї галузі, незалежні випробування до масштабування, можливість швидко відключити спільну модель, резервні ручні процеси і держава або галузевий фонд як останнє джерело компенсації. Що ширший масштаб системи, то менше значить пошук одного винного і то важливіша архітектура розподіленого контролю.

Є і випадок, коли рахунок виставили не компанії, а тим, хто сперечатися не міг. Податкова служба Нідерландів понад десять років використовувала систему оцінки ризику, щоб знаходити шахрайство з допомогами на дитячий садок, і серед ознак ризику в ній було друге громадянство. Десятки тисяч сімей, найчастіше небагатих і з міграційним минулим, отримали вимоги повернути допомоги за роки, цілком і одразу; люди втрачали житло й оголошували банкрутство, а система при цьому працювала так, як її налаштували. Кабінет Рютте пішов у відставку 15 січня 2021 року, до січня 2024-го держава визнала потерпілими 33 335 сімей і виплачує кожній по 30 000 євро. Тут видно, що робить автоматизація з розподілом втрат, якщо її не зупинити: вигоду від економії на перевірках отримувала бюрократія, рахунок роками платили ті, у кого найменше можливостей оскаржити, а до держави він повернувся лише після того, як став політичним.

Те саме питання з іншого боку, з боку покупця, який платить до аварії: за що саме, якщо не за години роботи, розібрано в статті про ціну процесу.

Усередині машинного контуру мораль не потрібна

Якщо в процесі не бере участі людина, навіщо переносити туди людську мораль? Якщо агент № 2 передав агенту № 3 неправильні дані, досить знайти дефект, відкотити дію, обмежити повноваження агента і виправити алгоритм: усередині машинного контуру не потрібні сором і покарання, потрібні трасування, відкат і відключення.

Помилка починається, коли цю технічну логіку переносять на стосунки системи із суспільством. Зовні контуру лишаються люди, чиї гроші, здоров’я або свобода були зачеплені, і їм потрібен не виправлений код, а пояснення, процедура оскарження і компенсація. Ці обов’язки все одно належать людині або організації: машина може бути об’єктом керування ризиком, але поки не є носієм суспільних обов’язків.

Хто має з’явитися замість «начальника нейромережі»

Ринок уже створює людей, яких у побуті називають «відповідальними за ШІ»: AI Governance Officer, AI Risk Manager, Model Risk Manager, Human Oversight Specialist. Справжня роль тут не підпис під кожною відповіддю моделі, а власник рішень, що ухвалюються за допомогою ШІ. Він має:

  • розуміти предметну галузь;
  • знати можливості й обмеження використовуваної системи;
  • встановлювати межі її повноважень;
  • визначати, які операції проходять автоматично, а які потребують ескалації;
  • стежити за помилками, скасуваннями і скаргами;
  • мати право зупинити систему;
  • уміти довести, що рішення ухвалювалося за розумною процедурою.

Найчастіше це буде не нова професія, а додаткова кваліфікація всередині старих: лікар лишиться лікарем, фінансист фінансистом, але частина з них відповідатиме за влаштування спільної роботи людини і машини. Неприємна деталь у тому, що такий фахівець не може бути відповідальним, якщо компанія лишає собі всю владу, а йому віддає лише ризик покарання. Відповідальність без повноважень - це не професія майбутнього, а стара професія козла відпущення з модною приставкою AI.

Частину цієї ролі можна перетворити на сервіс. Між ШІ і реальною дією ставиться контур перевірки: клас ризику, суми та персональні дані, звірка з правилами компанії, блокування заборонених операцій, відправлення спірних випадків людині і журнал, у якому записано, яка модель, які вхідні дані і чому дію дозволено. Для малого бізнесу це корисніше за абстрактного консультанта з впровадження, бо клієнт купує не обіцянку, що ШІ не помилиться, а перевірювану процедуру. Але продавати це під гаслом «ми повністю відповідаємо за рішення вашого ШІ» небезпечно: жодна невелика компанія не візьме на себе необмежені збитки від чужих даних і чужої моделі, і після історії Delta зрозуміло, чому. Чесна обіцянка вужча:

Ми відповідаємо за виконання конкретної процедури контролю і за роботу заявлених блокувань - у заздалегідь визначених сценаріях і межах.

Що залишається після перевірки

Первісне питання поставлено правильно: якщо збитки величезні, покарання однієї людини їх не компенсує, тому особиста відповідальність не може бути головним фінансовим механізмом безпеки ШІ. Але звідси не випливає, що відповідальна людина не потрібна. Вона потрібна не після аварії, щоб урочисто віддати державі квартиру, а до неї, як носій повноважень, зобов’язаний визначити межі системи, побачити недопустимий ризик і зупинити процес. Після аварії центр ваги зміщується до організації: розслідування, компенсація, страхування, зміна правил. Особиста вина з’являється лише там, де людина справді могла діяти інакше.

Технічну помилку треба виправляти в системі. Фінансові збитки має нести організація, яка контролює застосування й отримує вигоду. А людина має відповідати лише за ті рішення, для яких у неї були інформація, повноваження та реальна можливість втрутитися.

Усе інше - або спроба зробити відповідальним алгоритм, якому нічого втрачати, або спроба поставити поруч із ним людину, яку зручно буде покарати. І те й інше розв’язує не проблему ШІ, а проблему гарного звіту після катастрофи.

Джерела

Перевірка 16 вересня 2026: рівень 1 - посилання відкривається, автор, назва і дата збігаються; рівень 2 - твердження статті знайдено в тексті джерела.

← До всіх матеріалів