Блог компании Positive Technologies | Генеративный ИИ не оправдал надежд киберпреступников

ChatGPT и его аналоги оказались малополезны для использования в реальных атаках, лишь отнимая у злоумышленников драгоценное время.



Несмотря на обеспокоенность исследователей безопасности и правоохранительных органов некоторых стран по поводу злонамеренного использования ChatGPT и аналогичных больших языковых моделей (LLM-моделей), серьезных поводов для беспокойства пока нет.

Проведенное компанией Sophos исследование киберпреступных форумов показало, что многие злоумышленники по-прежнему скептически настроены в отношении чат-ботов и нейросетей —используют их буквально сквозь боль и слезы, так как добиться желаемого результата получается крайне редко.

Инновационная новинка или мошенничество?

Исследователи Sophos обнаружили в киберподполье сразу несколько LLM-моделей, утверждающих, что обладают возможностями, аналогичными WormGPT и FraudGPT. Среди таких моделей, предназначенных для профессиональных интернет-злодеяний, — EvilGPT, DarkGPT, PentesterGPT и другие. Однако эксперты отметили явный скептицизм в отношении некоторых из них. Киберпреступники обвиняют авторов данных моделей в мошенничестве и невыполнении чат-ботами заявленных возможностей.

Скептицизм подкрепляется утверждениями, что сама технология GPT сильно переоценена, распиарена средствами массовой информации и абсолютно непригодна для генерации приемлемых для использования вредоносных программ или создания продвинутых мошеннических тактик. Даже если «преступные нейросети» смогут немного помочь своим пользователям, этого явно будет недостаточно для проведения комплексной и продуманной атаки.

Киберпреступники также высказывают опасения, что код, сгенерированный при помощи LLM-моделей может быть легко обнаружен антивирусами и системами защиты конечных точек.

Использование на практике

Что касается практического применения, то пока большинство идей и концепций остаются на уровне обсуждений и теорий. Есть лишь несколько успешных примеров использования LLM для генерации вредоносных программ и инструментов атаки. При этом, все успешные кейсы были реализованы только в «лабораторных» условиях в качестве доказательства, что теория может работать на практике.

В то же время, посетители некоторых форумов сообщают об эффективном использовании LLM для решения других задач, не связанных напрямую с киберпреступной деятельностью, таких как рутинное кодирование, генерация тестовых данных, портирование библиотек на другие языки и т.д. Однако, для этих задач подойдёт и обычный ChatGPT.

Эксперты отмечают, что интерес к использованию GPT для генерации вредоносных программ обычно проявляют совсем неопытные киберпреступники, но они зачастую не в состоянии обойти ограничения моделей или разобраться с ошибками в полученном коде.

Результаты исследования

Таким образом, согласно результатам исследования, LLM-модели пока не являются основной темой обсуждения на форумах даркнета или особо активным рынком, по сравнению с другими киберпреступными продуктами и услугами.

Большинство участников форумов продолжают заниматься своими повседневными киберпреступными делами, лишь изредка экспериментируя с возможностями генеративного ИИ. Однако, число GPT-сервисов, обнаруженных исследователями, позволяет предположить, что этот рынок постепенно растет, и скоро все больше злоумышленников начнут внедрять компоненты на основе LLM в свои услуги.

Исследование Sophos показало, что многие члены хакерского сообщества сталкиваются с теми же проблемами LLM-моделей, что и обычные пользователи, включая проблемы точности, конфиденциальности и применимости на практике.

Эксперты отмечают, что сомнения не останавливают абсолютно всех киберпреступников от использования инновационных новинок. Однако большая часть злоумышленников заняла выжидательную позицию, чтобы вернуться к этой теме, когда технология станет более совершенной.