Фахівці з кібербезпеки компанії Permiso Security оприлюднили деталі нової техніки атаки під назвою ChatGPhish, яка націлена на платформу штучного інтелекту ChatGPT від OpenAI. Дослідження виявило, що вбудований інструмент візуалізації відповідей на сайті chatgpt[.]com надмірно довіряє посиланням та зображенням, які відформатовані за допомогою мови розмітки Markdown. Через це зловмисники можуть використовувати так звані “промт-ін’єкції” під час аналізу веб-сторінок або документів штучним інтелектом, змушуючи чат-бота приховано відображати підроблені елементи інтерфейсу та фішингові лінки.

Під час тестування було доведено, що коли користувач просить ШІ зробити коротке резюме вхідного тексту або веб-сторінки, що містить прихований шкідливий код Markdown, система автоматично генерує блоки, які виглядають як легітимні системні повідомлення або кнопки авторизації. Це дозволяє зловмисникам маніпулювати контекстом бесіди та перенаправляти користувачів на сторонні ресурси для крадіжки їхніх облікових даних. Компанія OpenAI була сповіщена про цю проблему, і наразі інженери платформи працюють над посиленням фільтрації вихідних даних штучного інтелекту.