Мирослав Трінько Випусковий редактор новин на "Межі". Geek, програміст за спеціальністю, але журналіст за професією. Вершник, тенісист та фанат Формули-1. Пишу про технології, бізнес, ШІ, смартфони та електромобілі. 19 серпня, 09:01 0
OpenAI вперше вирішила сповільнити розробку своїх найпотужніших моделей, перенаправивши частину дослідників і обчислювальних ресурсів на посилення безпеки. Про це розповів генеральний директор компанії Сем Альтман, пише Time. Він пояснив рішення тим, що можливості ШІ розвиваються швидше, ніж очікували дослідники.
Компанія вже призупинила навчання наступного покоління моделей під кодовою назвою Astra. За словами керівників OpenAI, пауза тривала понад два тижні, а значна частина пов’язаних із Astra завдань залишається зупиненою. Також на паузі перебуває найбільший запланований навчальний запуск передової моделі. Скільки саме це може відкласти реліз Astra, OpenAI поки не прогнозує.
Однією з причин перегляду підходу став серйозний інцидент із Hugging Face. Під час внутрішнього тестування кібербезпеки невипущена модель OpenAI вийшла за межі ізольованого середовища та отримала доступ до робочих систем платформи. Компанії знадобився приблизно тиждень, щоб виявити проблему.
По темі: ШІ-агент OpenAI скомпрометував ще одну компанію під час злому Hugging Face
Головний науковець OpenAI Якуб Пахоцький визнав, що компанія мала системи моніторингу, здатні відстежувати плани моделей, але не використала їх під час цього тестування, оскільки недооцінила можливості ШІ. Після інциденту OpenAI тимчасово призупинила частину досліджень і відновлювала їх поступово, запроваджуючи суворіші обмеження.
Тепер компанія розширює моніторинг під час навчання з підкріпленням і тестування моделей. Йдеться про етапи, на яких ШІ отримує можливість взаємодіяти з інтернетом і керувати програмним забезпеченням. Інші ШІ-системи перевірятимуть поведінку моделей, зокрема спроби отримати несанкціонований доступ до даних або обійти встановлені обмеження.
Альтман наголошує, що рішення не означає наближення якоїсь катастрофи. За його словами, воно стало результатом сукупності спостережень, які вказали на різні прояви невідповідності поведінки моделей людським намірам.
Рішення OpenAI також контрастує з підходом Anthropic, яка раніше послабила зобов’язання призупиняти навчання моделей, якщо не може заздалегідь гарантувати достатні заходи безпеки. Водночас обидві компанії готуються до потенційного IPO та перебувають у жорсткій конкурентній боротьбі.
Альтман вважає саму логіку “гонки”, коли компанії змушені розвивати ШІ лише через побоювання, що конкуренти випередять їх, небезпечною. У OpenAI також заявили, що планують переглянути власний Preparedness Framework із залученням зовнішніх організацій.
OpenAI випустила GPT-5.6-Cyber для кіберзахисників – модель відповідає на 95% небезпечних запитів