“Слопсквотинг : як зловмисники використовують вразливості нейромереж для атак на користувачів”👾
Експерти попереджають про новий тип атак на ланцюжок постачань, що отримав назву слопсквотінг (slopsquatting). Такі атаки стають можливими завдяки широкому застосуванню генеративних ШІ-інструментів для кодингу, оскільки моделі схильні до «галюцинацій» і можуть вигадувати неіснуючі пакети.
Уперше термін слопсквоттінг був запропонований ІБ-дослідником Сетом Ларсоном (Seth Larson) і споріднений зі словом «тайпсквоттінг». На відміну від тайпсквотингу, слопсквотинг пов’язаний не з експлуатацією друкарських помилок, а з тим фактом, що зловмисники можуть створювати шкідливі пакети в PyPI або npm, використовуючи назви, які часто «вигадують» ШІ-моделі.
Опубліковане наприкінці березня дослідження, присвячене вивченню «галюцинацій» ШІ, показало, що приблизно у 20% випадків (576 000 згенерованих прикладів коду на Python і JavaScript) рекомендовані штучним інтелектом пакети не існували.
Причому ситуація виглядає гірше для опенсорсних LLM (CodeLlama, DeepSeek, WizardCoder і Mistral), а комерційні інструменти, як-от ChatGPT-4, галюцинують приблизно в 5% випадків, що теж зовсім немало.
Дослідники зазначили, що кількість унікальних імен таких неіснуючих пакетів перевищила 200 000, причому 43% з них постійно з’являлися у відповідях LLM за схожих промтів, а 58% повторювалися хоча б один раз із десяти.
Зазначається, що 38% назв неіснуючих пакетів явно були натхненні справжніми пакетами, 13% були результатом помилок, а решта 51% були повністю вигаданими.
Хоча поки немає жодних ознак того, що зловмисники вже взяли на озброєння новий тип атак, дослідники з компанії Socket попереджають, що «галюцинації» в назвах пакетів трапляються часто, регулярно повторюються і мають семантично правдоподібний вигляд, що можна легко застосувати в шкідливих цілях.
«Загалом 58% «галюцинацій» повторювалися більше одного разу. Це свідчить про те, що більшість «галюцинацій» – не просто випадковий шум, а повторювані артефакти того, як моделі реагують на певні промти, – пояснюють дослідники Socket. – Така повторюваність підвищує їхню цінність для зловмисників, полегшуючи виявлення життєздатних цілей для слопсквотингу, просто спостерігаючи за результатами роботи моделей навіть на невеликих вибірках».
Єдиним способом зниження ризиків у цьому випадку є перевірка імен пакетів вручну. Також завжди варто пам’ятати про те, що будь-який пакет, згаданий ШІ, може не існувати в реальності і не бути безпечним.
Також фахівці рекомендують використовувати сканери залежностей, lockfile і перевірки хешів для встановлення зв’язку пакетів з відомими і надійними версіями.
Крім того, зазначається, що зниження «температури» ШІ допомагає знизити кількість галюцинацій, що теж слід враховувати всім вайб-кодерам. Однак запускати і розгортати створений ШІ код у будь-якому разі рекомендується тільки після тестування в безпечному та ізольованому середовищі.