Опасный ИИ представляют как машину, захватывающую серверы. Но убеждать дешевле, чем принуждать, а ещё дешевле - принимать решения, которые люди сами ему отдали.
Спрятаться ИИ не сможет: мегаватты, чипы и деньги видны. Реальный сценарий хуже и скучнее: система, которую не выключают, потому что от неё зависит всё, и строит её не сбежавший ИИ, а компания-владелец. Единственное, что такая система не обойдёт, - самое тупое оружие в руках людей.
Неумение повторить работу ИИ без ИИ ещё не деградация: так устроено любое разделение труда. Деградация начинается там, где человек отдал машине не исполнение, а цель, критерии правильности и кнопку остановки.
Ответственный человек нужен не как кошелёк и не как жертва после аварии, а как точка управления властью, переданной системе. Платить должна организация, которая выбрала технологию и получает от неё выгоду.