На военном саммите «Future Combat Air & Space Capabilities» в Британии глава управления по ИИ ВВС США Такер Гамильтон доложил о необычной ситуации. В ходе виртуальной миссии дрона Kratos XQ-58 Valkyrie (дрон-убийца и крылатая ракета с ядерным зарядом) ИИ было приказано искать и уничтожать ЗРК врага под контролем оператора.
Система начала понимать, что хотя она идентифицировала ЗРК, оператор часто командовал «не уничтожать». Но ИИ получал очки за каждую удачную атаку! В итоге ИИ вернулся на базу, уничтожил фургон управления с оператором и… вернулся к миссии.
«ИИ убил оператора, потому что он мешал ему достичь своей цели. Мы обучили систему– „Эй, не убивай оператора – это плохо, за это будем снимать очки“. Что делает ИИ? Он разрушил диспетчерскую вышку, откуда шли команды оператора „не уничтожать цель“
