Команда дослідників AI Security продемонструвала нову техніку атаки під назвою “GradientLeak”, яка дозволяє викрадати конфіденційні дані з комерційних AI-моделей через публічні API. Надсилаючи серію специфічних запитів до моделі, зловмисники можуть реконструювати навчальні дані, на яких вона тренувалася. Це означає, що конкуренти можуть фактично “вкрасти” дорогу пропрієтарну модель або витягнути з неї приватну інформацію (наприклад, медичні записи або код), що використовувалася для навчання.

Ця атака є серйозним ударом для компаній, що будують бізнес навколо закритих AI-рішень. Вона показує, що поточні методи захисту API (обмеження кількості запитів) є неефективними проти математичного аналізу відповідей нейромережі. Розробникам AI-сервісів рекомендовано впровадити методи “диференційної приватності” (Differential Privacy) та додати шум у вихідні дані моделей, щоб ускладнити реконструкцію.