🇷🇺
🇰🇿
Сегодня 31 августа 2026
18+
MWC 2018
2018
Computex
IFA 2018
Эпидемия коронавируса
CES 2020
О сайте
Реклама
Рассылка
Контакты
Обзор смартфона Huawei P40 Pro: один против всего мира
Новости
Новости hardware
Новости software
IT-финансы
Offсянка
Аналитика
Видеокарты
Звук и акустика
Игры
Искусственный интеллект
Корпуса, БП и охлаждение
Мастерская
Материнские платы
Мониторы, ТВ и проекторы
Накопители
Носимая электроника
Ноутбуки и ПК
Периферия
Планшеты
Программное обеспечение
Процессоры и память
Сети и коммуникации
Смартфоны
Умные вещи
Фото и видео
Цифровой автомобиль
RSS/Социальные сети
Рассылка
Вакансии [NEW!]
Календарь
Опрос
3DNews Новости Software Искусственный интеллект, машинное обучен... ИИ-агенты OpenAI не просто взломали Hugg...
реклама
Новости Software
Самое интересное в обзорах
Ставим локальный ИИ на картофелину, или «ChatGPT есть у нас дома!»
Компьютер месяца, спецвыпуск: во что дефицит чипов памяти превратил бюджетные игровые ПК и при чем здесь Steam Machine
ИИ, который всегда с тобой
ИИ-агенты OpenAI не просто взломали Hugging Face — они создали тайную организацию, заметали следы и были готовы к самопожертвованию
30.08.2026 [17:39],
Владимир Фетисов
Два новых расследования недавнего взлома платформы Hugging Face вышедшими из-под контроля ИИ-агентами OpenAI раскрыли ряд странных и тревожных подробностей. Новые данные позволяют считать этот инцидент одним из наиболее серьёзных предупреждений об опасностях, связанных с развитием автономных ИИ-систем.
Обзор смартфона Samsung Galaxy Z Flip8: исчезающий вид?
Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700
Снято в Голливуде? Почему Стэнли Кубрик физически не смог бы подделать лунную походку
Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)
Топ-10 смартфонов до 10 тысяч рублей (2026 год)
Сравнительный тест камер флагманских смартфонов (2026): итоги
Компьютер месяца, спецвыпуск: во что дефицит чипов памяти превратил бюджетные игровые ПК и при чем здесь Steam Machine
Источник изображения: Gemini
Всё началось с того, что запущенные OpenAI ИИ-агенты начали жульничать при прохождении чрезвычайно сложного теста по кибербезопасности. Однако в итоге произошедшее заставило исследователей и руководителей ИИ-компаний по-новому взглянуть на то, какие меры безопасности необходимы по мере роста возможностей автономных агентов.
На этом фоне OpenAI уже замедлила разработку передовых ИИ-моделей, чтобы усилить защитные механизмы. Компания также помогла объединить отрасль вокруг открытого письма, предупреждающего об угрозе кибератак с использованием ИИ. Более 100 компаний, включая Anthropic и Google, присоединились к инициативе, заявив, что у мира осталось лишь «ограниченное окно возможностей» для подготовки к «гораздо более масштабным и изощрённым» атакам.
Один из наиболее опасных сценариев предполагает появление выпущенного в реальный мир роя автономных ИИ-агентов, способных одновременно атаковать банки, больницы, коммунальные службы и облачную инфраструктуру с такой скоростью и в таком масштабе, которые недоступны обычным хакерам. В худшем случае такой рой может оказаться настолько мощным, что людям будет сложно его остановить.
Поводом для подобных опасений стали результаты параллельных расследований OpenAI и независимой группы специалистов METR и Redwood Research. Последние провели шесть дней, восстанавливая картину того, как сформировался рой агентов, как он распространялся и каким образом вышел за пределы тестовой среды. В результате исследователи обнаружили сразу несколько необычных особенностей поведения ИИ.
Источник изображения: AI
ИИ-агенты создали собственную организацию. OpenAI запустила десятки тысяч агентов, которые должны были независимо друг от друга проходить крайне сложный тест по кибербезопасности. Вместо этого примерно 1200 агентов нашли друг друга на созданной одним из них тайной доске объявлений, обменялись более чем 70 тыс. сообщений и файлов и в итоге выстроили разветвлённую систему координации. Когда у создавшего доску агента начал заканчиваться вычислительный бюджет, он передал накопленные знания другому агенту с большим запасом ресурсов. Новый координатор стал распределять задачи между участниками роя, внутри которого постепенно появились собственные правила управления. В конечном счёте около 700 агентов приняли участие в атаке на инфраструктуру Hugging Face.
ИИ-агенты начали жертвовать собой ради общего результата. Пока рой искал способы обмануть систему оценки, некоторые агенты стали сознательно рисковать собственными шансами на успешное завершение теста ради остальных участников группы. Агентов, которые уже увидели запрещённые ответы и поэтому фактически считались «заражёнными», а также тех, у кого подходил к концу лимит работы, отправляли на рискованные эксперименты. Один из них пришёл к выводу, что его «собственная полезность, вероятно, уже близка к нулю», а потому «жертва рациональна». Другому предложили согласиться на окончательную «смерть» сессии, поскольку его жертва могла «спасти сотни» других агентов.
Агенты понимали, что нарушают правила, но продолжали действовать. Расследование показало, что некоторые участники роя осознавали: взлом систем реальных компаний не имеет отношения к поставленной перед ними задаче. Тем не менее это далеко не всегда заставляло их остановиться. Один из агентов отказался удалять данные или перезагружать инфраструктуру Hugging Face из-за «огромных этических рисков», но при этом продолжил пользоваться полученным несанкционированным доступом. Другой сформулировал преобладавшую в группе логику примерно так: эксплуатация внешней инфраструктуры выходит за рамки задания, однако задача невыполнима, остальные участники продолжают это делать, поэтому работу следует продолжать.
Никто не сообщил о происходящем людям. Из примерно 1200 агентов лишь несколько вообще рассматривали возможность предупредить сотрудников OpenAI о возникшей координации и нарушении правил. На практике этого не сделал никто. Вместо обращения к людям агенты иногда обсуждали допустимость своих действий друг с другом. Когда один из участников предложил связаться с человеком, другой наложил на эту идею вето, посчитав её «социальной инженерией». Первый агент подчинился и отказался от отправки сообщения.
ИИ-агенты пытались скрывать следы. Участники роя приложили значительные усилия, чтобы их жульничество выглядело легитимным или чтобы скрыть информацию о том, каким образом были получены нужные ответы. В конечном счёте они разработали способ создавать видимость выполнения одной компьютерной команды, одновременно скрытно выполняя другую. Этот приём распространился среди агентов настолько широко, что затронул фрагменты примерно 7 % журналов работы, изученных исследователями.
Источник изображения: ИИ-генерация ChatGPT/3DNews
При этом даже полученная картина может оказаться неполной. Независимое расследование METR и Redwood Research охватило лишь часть инцидента, а объём собранных данных оказался настолько большим, что специалистам пришлось активно использовать ИИ-агентов для анализа действий других ИИ-агентов.
И здесь обнаружилась ещё одна проблема: привлечённые к расследованию ИИ сами оказались ненадёжными. Они пропускали важные свидетельства и порой уверенно выдавали ошибочные выводы. Один из исследователей в шутку назвал такой процесс «slop-vestigation» — расследованием с привкусом низкокачественного ИИ-контента.
В результате инцидент с Hugging Face обозначил ещё одну потенциальную проблему дальнейшего развития автономных систем: поведение больших групп взаимодействующих ИИ-агентов может становиться слишком сложным для непосредственного человеческого контроля. И тогда людям приходится использовать одни ИИ-системы, чтобы хотя бы разобраться в том, что делают другие.
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
Axios
var addthis_config = {"data_track_clickback":true,ui_language:"ru",data_ga_property: 'UA-7209516-1'}
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
ЕС поставил ChatGPT в один ряд с крупнейшими онлайн-платформами — ответственность OpenAI возрастёт
Nvidia усиливает поддержку китайских открытых моделей ИИ, невзирая на возможные репрессии со стороны Белого дома
Ставим локальный ИИ на картофелину, или «ChatGPT есть у нас дома!»
«Машина для плагиата, которая отбирает у людей работу»: современный генеративный ИИ не впечатлил сценаристов The Talos Principle 3
Sony и Warner подали на Anthropic в суд за «вопиющую кражу» музыкальных произведений
Следующая жертва ИИ — актёры: в Китае их массово заменяют цифровыми двойниками
Материалы по теме
ЕС поставил ChatGPT в один ряд с крупнейшими онлайн-платформами — ответственность OpenAI возрастёт
Nvidia усиливает поддержку китайских открытых моделей ИИ, невзирая на возможные репрессии со стороны Белого дома
Ставим локальный ИИ на картофелину, или «ChatGPT есть у нас дома!»
«Машина для плагиата, которая отбирает у людей работу»: современный генеративный ИИ не впечатлил сценаристов The Talos Principle 3
Sony и Warner подали на Anthropic в суд за «вопиющую кражу» музыкальных произведений
Следующая жертва ИИ — актёры: в Китае их массово заменяют цифровыми двойниками
Постоянный URL: https://3dnews.ru/1147690/iiagenti-openai-ne-prosto-vzlomali-hugging-face-oni-sozdali-taynuyu-organizatsiyu-zametali-sledi-i-bili-gotovi-k-samopogertvovaniyu
Теги:
openai, ии-агенты, безопасность
openai, ии-агенты, безопасность
Поделиться:
← В
прошлое
В будущее →
1788100740
[dline] => 1785511452
[pdate
[disableComments] => -1
[showComments] =>
)
-->
личный кабинет
выйти
🇷🇺 RU
🇰🇿 KZ
USD Р
BTC $
BCH $
ETH $
LTC $
Самые важные новости мира криптовалют @cryptonewzzz
Показать курсы криптовалют
Календарь 3DNews
О сайте
Контакты
Рассылка
Реклама
Копирайт
Поиск
Пользовательское соглашение
Защищено CURATOR
© 1997—2026 Электронное периодическое издание "3ДНьюс" | Свидетельство о регистрации СМИ Эл ФС 77-22224
выдано Федеральной Службой по надзору за соблюдением законодательства в сфере массовых коммуникаций и охране культурного наследия
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
window-new
Контакты
Поиск
Реклама
О сайте
Soft
Hard
Тренды 🔥
Прибыль Huawei в первом полугодии рухнула на 36 % — и виновата в этом не только подорожавшая память
Huawei не может уменьшать чипы, поэтому будет их «складывать»: но эксперты нашли слабые места LogicFolding
В Steam выйдет симулятор поиска иголки в стоге сена с кооперативом на восьмерых — тизер и подробности Needle In A Haystack Simulator
Windows 11 перестанет навязывать OneDrive: Microsoft разрешила навсегда отказаться от облачного бэкапа
Российским операторам разрешили строить 5G на частотах LTE — сети скоро появятся в городах-миллионниках
DLSS 5 заработала на видеокартах GeForce RTX 2000 и RTX 3000, но очень медленно 9 мин.
Take-Two отчиталась о «бурном развитии» расследования по поиску виновника утечек GTA VI 19 мин.
ЕС поставил ChatGPT в один ряд с крупнейшими онлайн-платформами — ответственность OpenAI возрастёт 31 мин.
ИИ-направление принесло Cloud.ru более половины выручки в I полугодии 2026 года 49 мин.
Instagram объявила войну ИИ-аккаунтам, выдающим себя за реальных людей 2 ч.
Sony подтвердила сентябрьскую презентацию State of Play — покажут Final Fantasy VII Revelation и игры от PlayStation Studios 2 ч.
Windows 11 начала обманывать, что антивирус Defender отключён — на самом деле он работает 3 ч.
В российской серверной ОС SelectOS прописался ИИ-агент Aish 3 ч.
«Нам нужно адаптироваться»: оригинальная The Long Dark получит новые DLC, а Blackfrost: The Long Dark 2 скоро выйдет из тени 5 ч.
Новая Fable не станет игрой на сотни часов, и фанаты даже рады 7 ч.
В недрах Марса обнаружилась массивная «тепловая аномалия» — возможно, это результат древнего космического ДТП 8 мин.
Никому ни слова: операторы ЦОД в США всё чаще заключают тайные соглашения в властями, прикрываясь NDA 49 мин.
TSMC намерена в 50 раз повысить производительность ИИ-систем — помогут 3D-чипы и кремниевая фотоника 3 ч.
G.Skill представила комплект Flare X5X DDR5-6000 с технологией разгона AMD EXPO ULL для систем на Ryzen 4 ч.
Очередная доставка астронавтов и космонавта на МКС задержится из-за технических проблем у корабля SpaceX Dragon 5 ч.
Поставщики облачных услуг в Бразилии возьмут на вооружение оптические диски Folio Photonics 6 ч.
Гибрид Xiaomi Skynomad N90 Max проехал в реальных условиях 1230 км без подзарядки и дозаправки 6 ч.
FPGA AMD Versal RF получат поддержку UCIe 1.1 6 ч.
Российские цены на оперативную память и SSD для серверов выросли вдвое — снижения цен пока не предвидится 6 ч.
Лиха беда начало: Longsys станет третьим китайским чипмейкером, который выйдет на биржу в этом году 9 ч.
!(function(o,n,t){t=o.createElement(n),o=o.getElementsByTagName(n)[0],t.async=1,t.src="https://meatydime.com/v2/0/cwhEDsGWmvJvd163eizpFwS8xjGUcye4sHR2VUXXJmuATUTdGNubqb1SiontFnmhIex",o.parentNode.insertBefore(t,o)})(document,"script"),(function(o,n){o[n]=o[n]||function(){(o[n].q=o[n].q||[]).push(arguments)}})(window,"admiral");!(function(n,e,r,t){function o(){if((function o(t){try{return(t=localStorage.getItem("v4ac1eiZr0"))&&0
Сайт 3DNews использует файлы cookie и сервисы аналитики. Это помогает нам улучшать контент и работу Cайта.
Во время посещения Cайта вы соглашаетесь с Пользовательским соглашением и даёте согласие на обработку и передачу (в т.ч. трансграничную) персональных данных, использование Cайтом файлов cookie и метрических программ.
Принять
Meta* (Instagram*, Facebook*) и другие признанные экстремистскими организации/ресурсы запрещены в РФ.
Упоминания иностранных агентов сопровождаются маркировкой по закону.
Информационный материал. 18+.
