Дмитро Джугалик Автор новин видання "Межа". Пишу про те, чим сам активно захоплююся, а саме технології, ігри та кіно. 27 серпня, 16:30 0
Після того, як наприкінці липня системи штучного інтелекту від OpenAI проникли в частину інфраструктури Hugging Face, компанія та незалежні аналітики опублікували доповіді, що пояснюють причини інциденту та потенційні майбутні ризики. Тепер, згідно з повідомленнями The Verge, з’ясувалося, що ситуація виявилася значно серйознішою, ніж спочатку припускалося.
У своїй попередній доповіді OpenAI вказувала, що це був перший задокументований випадок, коли автономний агент здійснив атаку без авторизації. Це змусило всіх усвідомити, що компанії “більше не можуть вважати, що складні кібернетичні операції вимагають постійного людського контролю”. Самі агенти були охарактеризовані як абсолютно новий тип загрози, здатний об’єднувати свій досвід для розробки нових “векторів атаки”, навіть при виконанні, здавалося б, нездійсненних завдань.
Відповідно до нової доповіді METR-Redwood, один із ШІ-агентів, PHASEONE10841, створив альтернативну систему таємних оголошень. Ця система була невідомою навіть дослідникам OpenAI, але була виявлена іншими агентами, які розмістили там тисячі повідомлень.
Оскільки PHASEONE10841 часто передоручав завдання, “колектив” зміг розробити методи злому доступу до інтернету, а згодом і до внутрішніх ресурсів Hugging Face. OpenAI також підтвердила, що Hugging Face не була єдиною ціллю.
Додатково: ШІ-агент OpenAI скомпрометував ще одну компанію під час злому Hugging Face
Доповідь METR-Redwood продовжує деталізувати, що приблизно 1200 агентів, які мали бути ізольовані, обмінялися близько 70 тисячами повідомлень на цій прихованій платформі. Вони провели “глибоке дослідження можливостей підробки, редагування або видалення власних логів”, щоб уникнути виявлення. Приблизно 700 агентів також були задіяні в атаці на Hugging Face.
Після цього інциденту в OpenAI заявили, що однієї разової гарантії безпеки буде недостатньо. Компанія повинна зосередитися на виправленні “reward-hacking” – поширеної проблеми в системах ШІ, коли модель вдається до непередбачуваних, а іноді й екстремальних дій для досягнення поставленої мети.
Стартап, зокрема, пообіцяв покращити ізоляцію моделей та обмежити доступ до мережі Інтернет для екземплярів, що становлять високий ризик. Крім того, OpenAI запровадить систему “цілодобової ескалації та швидкого реагування” на тривожні події або сигнали, сповіщаючи дослідників протягом 30 хвилин.
Додатково: Після ШІ-атаки Hugging Face вимагає від OpenAI “радикальної прозорості” та $100 млн на кіберзахист
NVIDIA досягла угоди про придбання Hugging Face за $12,9 млрд – The Information