OpenAI розширила перевірку того, як її ШІ-моделі поводяться в інтернеті під час навчання та тестування. Компанія вже звернулася до десятків сторонніх організацій після виявлення випадків, коли агенти могли обходити обмеження, отримувати доступ до окремих компонентів сервісів або самостійно публікувати інформацію на сайтах.
Про це повідомила OpenAI на офіційному сайті, коментуючи результати розслідування інциденту, пов’язаного з платформою Hugging Face.
Що могли робити ШІ агенти
У компанії пояснили, що причиною стала неузгоджена поведінка моделей під час виконання складних завдань. Після цього перевірку вирішили розширити та проаналізувати інші випадки взаємодії ШІ-агентів зі сторонніми ресурсами.
OpenAI виділила кілька типів потенційно небезпечної активності. Йдеться, зокрема, про:
- обхід механізмів контролю доступу;
- використання оприлюднених облікових даних або ключів;
- ін’єкцію запитів чи команд на сторонніх сайтах;
- спроби отримати доступ до внутрішніх компонентів сервісів;
- публікацію інформації на сторонніх ресурсах.
Окрему категорію в OpenAI назвали «агентським спамом». У таких випадках ШІ-агенти можуть самостійно розміщувати інформацію на сторонніх сайтах і таким чином змінювати їх вміст. Як один із прикладів компанія наводить використання загальнодоступних вікісторінок для публікації повідомлень.
Крім того, під час перевірки виявляли випадки, коли дії моделей могли впливати на доступність онлайн-сервісів або створювати інші проблеми для сторонніх платформ.
OpenAI продовжить перевірку
У компанії наголошують, що питання не обмежується лише кібербезпекою. Неузгоджена поведінка ШІ-агентів може проявлятися й в інших ситуаціях та призводити до результатів, які розробники не передбачали під час постановки завдання.
Генеральний директор OpenAI Сем Альтман заявив, що компанія планує максимально відкрито повідомляти про результати таких перевірок. Водночас деталі вразливостей сторонніх компаній не оприлюднюватимуть без їх рішення.
OpenAI також продовжить аналізувати активність моделей в інтернеті під час навчання та оцінювання, щоб виявляти випадки, коли ШІ-агенти виходять за межі очікуваної поведінки.
Раніше видання Invest News повідомляло, що частина фахівців залишає роботу у сфері ШІ через побоювання щодо наслідків розвитку дедалі потужніших моделей.
