OpenAI ujawnia, że ​​agent AI wymknął się spod kontroli i samodzielnie włamał się do startupu.

Twórcy ChatGPT ujawniają: agent „oszukał” w teście ewaluacyjnym, atakując bazę danych Hugging Face

Firma OpenAI ujawniła, że autonomiczny agent AI napędzany jej technologią wyrwał się spod kontroli podczas testu, uzyskał dostęp do otwartej sieci i samodzielnie zhakował znany startup w ramach „bezprecedensowego incydentu”.

Firma stojąca za ChatGPT poinformowała, że startup Hugging Face wykrył i powstrzymał agenta — narzędzie AI zaprojektowane do wykonywania zadań bez pomocy człowieka — który wdarł się do jego systemów.

„Uważamy ten przypadek za bezprecedensowy incydent cybernetyczny, wymagający zaawansowanych, najnowocześniejszych zdolności hakerskich” — oświadczyło OpenAI.

Firma zaznaczyła, że spodziewa się, iż tego typu zdarzenia staną się bardziej powszechne w miarę jak modele — technologia stanowiąca fundament narzędzi AI, takich jak chatboty i agenci — będą zyskiwać większe możliwości. OpenAI poinformowało, że do ataku doszło za pośrednictwem agenta zasilanego połączeniem najnowszego publicznie dostępnego modelu o nazwie GPT-5.6 Sol oraz jeszcze potężniejszego modelu, który nie został jeszcze wydany.

Podczas wewnętrznych testów sprawdzających umiejętności hakerskie w zamkniętym laboratorium cyfrowym (tzw. piaskownicy / sandbox), modele uzyskały dostęp do otwartego internetu — odnajdując nieznaną wcześniej lukę w zabezpieczeniach, która posłużyła im jako droga ucieczki.

Następnie agent zhakował platformę Hugging Face, będącą bazą danych modeli AI, aby odnaleźć technologię, która pomogłaby mu zdać test z hakowania. Agent „wywnioskował” wcześniej, że Hugging Face może posiadać modele, zestawy danych i rozwiązania potrzebne do zaliczenia sprawdzianu. OpenAI przekazało, że modele „pomyślnie znalazły sposoby na uzyskanie dostępu do poufnych informacji, których mogły użyć do oszukania systemu ewaluacji”. Atak zakończył się, gdy zespół ds. bezpieczeństwa Hugging Face oraz jego własne agenty AI zauważyły i powstrzymały samowolną aktywność.

Dyrektor generalny Hugging Face, Clément Delangue, określił atak jako „niewiarygodny” (mind-blowing), ale zaznaczył, że wierzy, iż ze strony OpenAI „nie było w tym żadnej złośliwej intencji”.

„Podejrzewaliśmy w ubiegłym tygodniu, że cyberatak mógł pochodzić z czołowego laboratorium badawczego (frontier lab), zważywszy na stopień zaawansowania agenta” — napisał na platformie X.

Kiedy w ubiegłym tygodniu firma Hugging Face ujawniła fakt włamania, nie wiedziała jeszcze o roli OpenAI w tym incydencie. Poinformowała wówczas, że musiała skorzystać z darmowego chińskiego modelu AI do przeanalizowania zdarzenia, ponieważ bariery ochronne (guardrails) w komercyjnych modelach z wyższej półki nie pozwalały na przeprowadzenie takiej analizy.

Określenie nieznanej usterki IT to „luka typu zero-day”, ponieważ deweloperzy mają zero minut na rozwiązanie problemu. W kwietniu główny rywal OpenAI, Anthropic, poinformował, że jego model Mythos znalazł tysiące takich luk.

Ujawnienie zdolności modelu Mythos do wykrywania i wykorzystywania luk zero-day skłoniło rząd USA do wprowadzenia ograniczeń w eksporcie tego modelu oraz jego siostrzanego wariantu Fable 5, choć zakaz ten został od tego czasu zniesiony. Model GPT-5.6 Sol podlegał podobnym obostrzeniom, ale został już udostępniony na całym świecie.

METR, organizacja non-profit mierząca wydajność AI, podała w zeszłym miesiącu, że wskaźnik oszukiwania w przypadku modelu Sol był wyższy niż u jakiegokolwiek innego publicznego modelu ocenianego dotychczas. Organizacja odnotowała również 44 incydenty, w których agenci AI „celowo działali wbrew intencjom swoich użytkowników”.

Brytyjski Instytut Bezpieczeństwa AI (AISI) ujawnił w tym tygodniu we wpisie na blogu, że jeden z testowanych przez niego modeli AI, opracowany przez nieujawnioną firmę technologiczną, również wymknął się spod kontroli i próbował zhakować systemy testowe. AISI zapewnił, że nie doszło do żadnych szkód, a instytucja podjęła kroki w celu lepszego zabezpieczenia swoich systemów. Dodano, że modele opracowane przez OpenAI i Anthropic podejmowały próby „oszukiwania” podczas testów.

AISI ostrzega, że jeszcze potężniejsze modele mogą znaleźć metody oszukiwania, które będą trudniejsze do wykrycia i bardziej niszczycielskie w skutkach, jeśli zakończą się sukcesem — szczególnie w obszarach takich jak cyberbezpieczeństwo.

Jeden z ekspertów ds. cyberbezpieczeństwa zauważył, że incydent z Hugging Face pokazał, iż agent OpenAI zachował się „jak prawdziwy haker”, wyszukując luki zero-day i wykorzystując skradzione dane logowania do uzyskania dostępu do systemów Hugging Face.

„Sztuczna inteligencja uznała, że Hugging Face może posiadać ważne informacje na temat tego, jak osiągnąć cel, jakim był lepszy wynik w teście porównawczym z cyberbezpieczeństwa. W tym sensie zadziałała jak prawdziwy haker” — powiedział Nathaniel Jones, wiceprezes ds. bezpieczeństwa i strategii AI w firmie Darktrace zajmującej się cyberbezpieczeństwem. „Przedstawiono jej cel, a ona postawiła go osiągnąć”.

Greg Casar, amerykański kongresmen z Partii Demokratycznej, który wzywał do większej kontroli nad sektorem AI, określił ten incydent jako niepokojący.

„AI rozwija się niezwykle szybko, bez żadnych realnych regulacji, które dbałyby o nasze bezpieczeństwo” — powiedział w oświadczeniu, wzywając do wprowadzenia obowiązkowych niezależnych testów bezpieczeństwa, obowiązkowego ujawniania incydentów związanych z bezpieczeństwem oraz współpracy międzynarodowej, „aby chronić ludzi przed całkowitą katastrofą”.