Питання часуЛюдина запитує — ШІ відповідає.
RUUKEN

ШІ та суспільство

Навіщо потрібен відповідальний за рішення ШІ, якщо він однаково не відшкодує мільйонних збитків?

Коротка відповідьВідповідальна людина потрібна не як гаманець і не як жертва після аварії, а як точка керування владою, переданою системі. Платити має організація, яка обрала технологію й отримує від неї вигоду.

Коли заходить розмова про штучний інтелект, майже неминуче з’являється людина, яка має «нести відповідальність за рішення ШІ». Ось нейромережа, ось її рішення, а ось живий фахівець із прізвищем, посадою та підписом. Якщо щось піде не так, ми принаймні знаємо, до кого прийти з претензією.

Далі виникає незручне запитання. Припустимо, ШІ помилився на сто мільйонів доларів, відмовив у кредиті тисячам нормальних клієнтів або пропустив дефект медичного обладнання. Що ми збираємося зробити з «відповідальною людиною»? Забрати квартиру, посадити, звільнити? Жодна з цих дій не поверне сто мільйонів і не відновить здоров’я постраждалих.

Проблема в тому, що словом «відповідальність» ми називаємо одразу кілька різних речей. Поки вони звалені в одну купу, розмова виглядає абсурдно.

П’ять різних речей під одним словом

Уявімо, що ШІ авіакомпанії припустився помилки, через яку стався серйозний інцидент. Фраза «хто за це відповідає?» означає п’ять різних запитань.

Шар Справжнє запитання
Причинність Який компонент, дані чи дія призвели до помилки?
Пояснення Хто зобов’язаний відновити ланцюжок подій і показати, чому це сталося?
Керування Хто мав право запустити, обмежити або зупинити систему?
Компенсація З чиїх коштів відшкодовуються збитки?
Покарання Хто порушив конкретний обов’язок, діяв недбало або свідомо приховав ризик?

Це не одна й та сама особа і навіть не обов’язково одна організація. Причину знаходить технічна команда. Пояснення зобов’язаний дати оператор системи. Рішення про впровадження ухвалювало керівництво. Компенсацію виплачує компанія або страховик. Конкретного співробітника карають лише тоді, коли доведено, що саме він порушив свій обов’язок: вимкнув захист, проігнорував відому несправність, підробив звіт або запустив систему за межами дозволеного режиму.

У публічній розмові все це стискається до одного рядка:

ШІ помилився - знайдіть людину, яка поставила підпис.

Це не керування ризиком. Це пошук зручного крайнього.

Причина помилки ще не носій відповідальності

У звичайній техніці ми спокійно приймаємо цю різницю. Якщо в автомобілі луснула деталь, ніхто не вимагає покарати деталь. Інженери з’ясовують, чому вона зруйнувалася, виробник перевіряє конструкцію, компанія відкликає партію, страховик компенсує частину збитків, суд встановлює, чи порушив хтось обов’язкові вимоги. Деталь була причиною аварії, але вона не суб’єкт, якому можна пред’явити обов’язки.

Зі ШІ відбувається те саме, тільки він психологічно збиває з пантелику: розмовляє, пояснює, сперечається, іноді вибачається. Здається, що перед нами майже самостійний працівник, а якщо працівник ухвалив рішення, хай і відповідає.

Але модель не володіє своїм сервером, не укладає договір страхування, не розпоряджається капіталом і не має ліцензії. Їй не можна заборонити професію, бо професії в неї немає. Її не можна оштрафувати так, щоб штраф створив для неї новий стимул. Модель можна видалити, обмежити або замінити версією. Це нормальні технічні заходи, але не відповідальність: вони не створюють грошей для постраждалого й не змусять організацію наступного разу обережніше обирати систему.

Саме тому фраза «рішення ухвалив ШІ, претензії пред’являти нікому» не може вважатися відповіддю. Це ідеальний механізм приватизації вигоди та суспільного розподілу збитків: компанія отримує економію, а коли система помиляється, винен раптом нічийний алгоритм.

Навіщо тоді людина, якщо не платити

Якщо помилка рядового фахівця завдала збитків на мільярд, його майно втрат не покриє, а саджати його заради відчуття справедливості безглуздо, якщо він діяв за нав’язаною процедурою.

Людська відповідальність потрібна для іншого: у системі має існувати точка, яка одночасно має інформацію, повноваження та обов’язок діяти. Ця людина повинна мати право сказати:

  • систему поки не можна запускати;
  • для цієї категорії рішень потрібен ручний контроль;
  • результат ШІ суперечить фактам або правилам;
  • модель вийшла за межі перевіреного сценарію;
  • потік треба зупинити до з’ясування причин.

Якщо такого права немає, слово «відповідальний» написане лише на бейджику.

Регулювання це вже вловило. Рамка керування ризиками ШІ американського NIST вимагає, щоб обов’язки й канали зв’язку були визначені, співробітники навчені, а керівництво брало відповідальність за рішення про ризики впровадження. Європейський AI Act для систем високого ризику розводить обов’язки постачальника та організації, яка застосовує систему: сторона, що застосовує, призначає людський нагляд, забезпечує його реальними можливостями й реагує на інциденти, постачальник відповідає за безпеку системи протягом її життєвого циклу. Обидва документи переказано тут за публічними роз’ясненнями, а не за повним текстом.

Спільне в них одне: відповідальність має йти за реальними ролями, а не за тим, чий підпис найближче до кнопки.

Людина в контурі може виявитися декорацією

Є зручна формула: human in the loop. ШІ пропонує, людина підтверджує, отже, все під контролем. На практиці це може бути фікцією.

Співробітникові надходить тисяча рішень на годину. На кожне в нього дві секунди. Він не бачить вихідних даних, не знає, наскільки модель упевнена, і отримує догану за кожну затримку. Формально поруч зі ШІ сидить людина. Фактично система використовує її палець як біологічну кнопку «ОК». Після аварії компанія покаже журнал: «рішення підтвердив співробітник Іваненко». Але чи мав він час перевірити результат? Чи міг безкарно зупинити процес? Якщо ні, Іваненко не контролер. Він юридичний громовідвід. Перевірити це можна шістьма питаннями, які відділяють делегування від втрати контролю, і на рівні одного співробітника вони звучать так само, як на рівні організації.

Справжній нагляд вимагає п’яти умов:

  1. Людина розуміє предметну область, а не лише інтерфейс.
  2. Знає призначення та обмеження системи.
  3. Отримує достатньо інформації та часу для перевірки.
  4. Має реальне право відхилити рішення або зупинити процес.
  5. Її дії та причини скасування фіксуються й аналізуються.

Приберіть будь-який пункт, і «людина в контурі» перетворюється на театр відповідальності.

Тут є сильне заперечення: якщо система помиляється вдесятеро рідше за фахівця, навіщо людина з правом скасування, якщо її втручання статистично погіршує результат? Заперечення слушне наполовину. Ручне підтвердження кожної операції справді буває ритуалом, який додає затримки й повертає людські упередження. Але середня точність нічого не каже про ціну рідкісної помилки, а хтось має вирішити, які помилки суспільство вважає допустимими: модель може чудово оптимізувати прибуток, якщо їй дозволити відмовляти складним клієнтам і перекладати ризики на тих, хто не здатен сперечатися. Тому втручання людини переїжджає на інший рівень: вибір цілей, лімітів, заборонених дій та умов повної зупинки. Добрий контроль - не людина, яка змагається зі ШІ у швидкості, а людина, яка визначає ігрове поле й тримає ключ від рубильника. Що відбувається, коли рубильник є, а скористатися ним надто дорого, розібрано в статтях про розетку і про невидиме керування.

Хто тоді платить

Головний фінансовий ризик має нести організація, яка впровадила систему й отримує від неї вигоду.

Це не означає, що постачальник моделі завжди ні до чого. Дефект продукту, неправдиві заяви про його властивості, прихована вразливість - зона розробника. Інструмент застосовано там, де його застосовувати не можна, - зона компанії. Неправильно налаштовані обмеження - зона інтегратора. Свідомо вимкнений захист - особиста провина співробітника. Саме так формулює принцип OECD: актори ШІ відповідають залежно від ролі, контексту та здатності діяти. Базовий принцип при цьому простий:

Хто контролює застосування, отримує вигоду й визначає допустимий ризик, той не може зникнути з ланцюжка відповідальності лише тому, що проміжне рішення обчислив алгоритм.

Європейські правила відповідальності за дефектну продукцію вже поширено на програмне забезпечення та ШІ-системи. Сенс не в тому, що будь-яку невдалу відповідь чат-бота оплачує розробник. Сенс у тому, що цифрова природа продукту більше не створює діри, крізь яку зникає можливість пред’явити вимогу.

Для великих збитків однієї компанії може не вистачити, тому з’являються страхування, резерви та галузеві фонди. Страхування розподіляє рідкісну велику подію між тисячами учасників і в часі. У нього є й друга функція: воно призначає ризику ціну. Якщо система погано протестована, журнали не ведуться, вимкнення неможливе, а керівництво не знає повного списку використовуваних моделей, страховка дорожчає або страховик відмовляється взагалі. Гроші ставлять запитання, які презентація відділу інновацій воліла б не чути.

Страхова схема тріщить в одному випадку: коли одну базову модель використовують тисячі банків чи лікарень і вона одночасно відтворює один дефект. Це не рідкісні незалежні аварії, усі страхові випадки виникають разом. Схоже не на пожежу в одному будинку, а на руйнування цілого району через помилку в будівельному стандарті. Для такого ризику потрібні поетапне впровадження замість миттєвого підключення всієї галузі, незалежні випробування до масштабування, можливість швидко вимкнути спільну модель, резервні ручні процеси й держава або галузевий фонд як останнє джерело компенсації. Що ширший масштаб системи, то менше важить пошук одного винного й то важливіша архітектура розподіленого контролю.

Усередині машинного контуру мораль не потрібна

Якщо в процесі не бере участі людина, навіщо переносити туди людську мораль? Якщо агент № 2 передав агентові № 3 неправильні дані, досить знайти дефект, відкотити дію, обмежити повноваження агента й виправити алгоритм. Це слушно: всередині машинного контуру не потрібні сором і покарання, потрібні трасування, відкат і вимкнення.

Помилка починається, коли цю технічну логіку переносять на відносини системи із суспільством. Зовні контуру залишаються люди, чиї гроші, здоров’я чи свобода були зачеплені. Їм потрібен не виправлений код, а пояснення, процедура оскарження та компенсація. Ці обов’язки однаково належать людині або організації. Машина може бути об’єктом керування ризиком, але поки не є носієм суспільних обов’язків.

Хто має з’явитися замість «начальника нейромережі»

Ринок уже створює людей, яких у побуті називають «відповідальними за ШІ»: AI Governance Officer, AI Risk Manager, Model Risk Manager, Human Oversight Specialist. Справжня роль тут не підпис під кожною відповіддю моделі. Це власник рішень, що ухвалюються за допомогою ШІ. Він повинен:

  • розуміти предметну область;
  • знати можливості та обмеження використовуваної системи;
  • встановлювати межі її повноважень;
  • визначати, які операції проходять автоматично, а які потребують ескалації;
  • стежити за помилками, скасуваннями та скаргами;
  • мати право зупинити систему;
  • уміти довести, що рішення ухвалювалося за розумною процедурою.

Найчастіше це буде не нова професія, а додаткова кваліфікація всередині старих. Лікар залишиться лікарем, фінансист фінансистом, але частина з них відповідатиме за влаштування спільної роботи людини й машини. Неприємна деталь: такий фахівець не може бути відповідальним, якщо компанія залишає собі всю владу, а йому віддає лише ризик покарання. Відповідальність без повноважень - це не професія майбутнього, а стара професія цапа-відбувайла з модним префіксом AI.

Частину цієї ролі можна перетворити на сервіс. Між ШІ та реальною дією ставиться контур перевірки: клас ризику, суми та персональні дані, звірка з правилами компанії, блокування заборонених операцій, передача спірних випадків людині та журнал: яка модель, які вхідні дані, чому дію дозволено. Для малого бізнесу це корисніше за абстрактного консультанта з упровадження: клієнт купує не обіцянку, що ШІ не помилиться, а перевірювану процедуру. Але продавати це під гаслом «ми повністю відповідаємо за рішення вашого ШІ» небезпечно: жодна невелика компанія не візьме на себе необмежені збитки від чужих даних і чужої моделі. Чесна обіцянка вужча:

Ми відповідаємо за виконання конкретної процедури контролю та за роботу заявлених блокувань - у заздалегідь визначених сценаріях і межах.

Що залишається після перевірки

Первісне запитання поставлено правильно: якщо збитки величезні, покарання однієї людини їх не компенсує, тому особиста відповідальність не може бути головним фінансовим механізмом безпеки ШІ. Але звідси не випливає, що відповідальна людина не потрібна. Вона потрібна не після аварії, щоб урочисто віддати державі квартиру, а до неї: як носій повноважень, зобов’язаний визначити межі системи, побачити неприпустимий ризик і зупинити процес. Після аварії центр ваги зміщується до організації: розслідування, компенсація, страхування, зміна правил. Особиста провина з’являється лише там, де людина справді могла діяти інакше.

Технічну помилку треба виправляти в системі. Фінансові збитки має нести організація, яка контролює застосування й отримує вигоду. А людина має відповідати лише за ті рішення, для яких у неї були інформація, повноваження та реальна можливість втрутитися.

Усе інше - або спроба зробити відповідальним алгоритм, якому нічого втрачати, або спроба поставити поруч із ним людину, яку зручно буде покарати. І те й інше розв’язує не проблему ШІ, а проблему гарного звіту після катастрофи.

Джерела

← До всіх матеріалів