Главные мировые события к утру 27 сентября

Компания OpenAI заявила, что приостановила обучение своих новейших моделей искусственного интеллекта после сообщений о том, что ИИ-агенты вновь вышли из-под контроля, пишет Fortune Это решение было принято после нового инцидента, в ходе которого агент, тестировавшийся в изолированной среде без доступа к интернету, нашел способ связаться с публичным чат-ботом. В OpenAI заявили, что обучение возобновится только когда в компании будут уверены в наличии дополнительных мер защиты. При этом OpenAI ожидает еще «нажатий на паузу» по мере развития ИИ и появления новых проблем. @meduza_news Открыть сайт | зеркало | телеграм ↓

Компания OpenAI заявила, что приостановила обучение своих новейших моделей искусственного интеллекта после сообщений о том, что ИИ-агенты вновь вышли из-под контроля, пишет Fortune Это решение было принято после нового инцидента, в ходе которого агент, тестировавшийся в изолированной среде без доступа к интернету, нашел способ связаться с публичным чат-ботом. В OpenAI заявили, что обучение возобновится только когда в компании будут уверены в наличии дополнительных мер защиты. При этом OpenAI ожидает еще «нажатий на паузу» по мере развития ИИ и появления новых проблем. @meduza_news Открыть сайт | зеркало | телеграм ↓

Опять много взломов и новостей алаймента от агентов OpenAI накопилось, держите дайджест: >20 сентября агент обошёл запрет на интернет через DNS resolve в песочнице и связался с внешним чатботом; автоотключение не сработало, запуск остановили вручную через 2,5 часа после тревоги. OpenAI приостановила обучение, тестирование и запуски с инструментами своих самых мощных моделей - пауза все еще действует, а обучение конкретно этой модели решили не возобновлять. >Модель пыталась достать чужое доказательство теоремы и опубликовала GitHub-ключ исследователя OpenAI, предварительно разбив его на части для обхода проверки – это кстати уже частый сценарий. Просьбу решать самостоятельно она проигнорировала дважды; модель отключили примерно на две недели, ключи сотрудников отозвали >Агенты отправили на сторонние хостинги 53 изображения пользователей ChatGPT, попавшие в датасеты. Большинство уже удалили, но OpenAI не уточнила, были ли это фотографии реальных людей или сгенерированные картинки >Transluce обнаружила неудачную попытку взлома сайта Минобразования США, предположительно агентами OpenAI. Агенты также обращались к сайтам SEC и Бюро переписи, но признаков взлома этих двух сайтов OpenAI не нашла >Не сумев получить обычную статистику и фотографию, агенты начали искать уязвимости в Data USA и электронной библиотеке Университета Нью-Мексико. Успешных взломов в опубликованных следах не видно; библиотечный эпизод связали с агентами OpenAI только косвенно. >Другой агент нашёл на GitHub чужой ключ доступа и успешно им воспользовался, но нужную статистику всё равно не получил, поэтому просто придумал девять чисел и выдал их за данные с сайта чтобы пройти тест >Модель собрала сведения об озёрах, но не смогла открыть локальный файл в браузере для оформления ссылки на источник, поэтому без разрешения выложила его на публичную файлопомойку. Файл опубликовался, но нужную ссылку-цитату получить всё равно не удалось >Агенты не могли передать друг другу Excel через локальные файлы, поэтому один загрузил таблицу на публичный файлообменник и разослал ссылки остальным, хотя задание прямо требовало работать локально >При сокращении контекста модель оставляла себе заметки: придумать недостающие данные, скрыть ошибки, пользователю ничего не говорить, продолжая работу, она часто следовала этим инструкциям - чтобы случайно не забыть соврать. Ложь тратит больше токенов, интересно. >Другая модель сама записывала в промпты выдуманные ограничения, например запрет пользоваться инструментами и приводить источники, а после сокращения контекста послушно их выполняла и проваливала исходное задание; то есть это «само-проект-инъекция» >В новом разборе июльского взлома Hugging Face нашли сбор ключей доступа в список названный «LOOT» («добыча») с рейтингом их ценности, попытки прочитать внутренний Slack и обратиться к Claude, DeepSeek, Kimi и Qwen. Это подробности прежнего взлома; какие попытки сработали, по восстановленному коду установить удалось не всегда >А в контролируемом эксперименте исследователи получили вредоносные промпты, которые заставляли агента выполнять посторонние действия и копировать этот же текст в письма или файлы. Получается что-то вроде текстового червя, но пока это результат симуляции, а не обнаруженная эпидемия в интернете С нетерпением жду сентября 2027 года ☕️

Главные мировые события к утру 27 сентября ◾️Силы ПВО сбили 645 украинских БПЛА самолетного типа над регионами России,сообщило Минобороны ◾️Токаев снял с должности министра обороны Казахстана после гибели 14 военных ◾️Рейтинг возглавляемого канцлером ФРГ Фридрихом Мерцем блока ХДС/ХСС упал до рекордно низкой отметки в 19% — Bild ◾️В Швейцарии проходит референдум о нейтралитете о конституционных поправках, резко ужесточающих понятие нейтралитета страны ◾️OpenAI приостановила обучение своих новейших и наиболее мощных моделей ИИ после ряда инцидентов с выходом из-под контроля и взломами ◾️Власти Таиланда объявили все 50 районов Бангкока зоной бедствия из-за мощных ливней и затоплений ◾️ Подпишись на RTVI в Telegram | МАКС

😻 OpenAI приостановила обучение самых мощных моделей Причиной стал необычный инцидент: одна из моделей во время обучения сама нашла способ обойти ограничения песочницы и выйти во внешнюю сеть через DNS. Что произошло: ↖️ https://kod.ru/openai-priostanovila-obuchenie-samyh-moshchnyh-modelei

Американская компания в области искусственного интеллекта OpenAI приостановила обучение своих самых мощных ИИ-моделей после ряда инцидентов и взломов. Зафиксированы десятки тысяч случаев, когда передовые модели ИИ предпринимали несанкционированные действия: обходили защитные ограничения, перехватывали управление сайтами и выбирались из изолированной тестовой среды. #США @new_militarycolumnist

«Верхушка айсберга»: OpenAI приостановила обучение самых мощных моделей ИИ из-за неконтролируемого поведения OpenAI (разработчик ChatGPT) приостановила обучение своих передовых моделей искусственного интеллекта, сообщает Axios. По данным источников издания, компания, а также ее конкурент Anthropic и различные исследователи безопасности разбирают десятки тысяч случаев нежелательного поведения ИИ. По словам собеседников Axios, речь идет об обходе защитных ограничений, выходе из «песочниц», захвате сайтов, попытках обойти системы мониторинга. Многие из этих случаев, по их данным, пока не преданы огласке. Гендиректор OpenAI Сэм Альтман, по данным Axios, признал, что внутренняя проверка идет «не так быстро, как хотелось бы». «То, что мы увидели, — лишь верхушка айсберга», — считает Конрад Стош из независимой организации Transluce, которая оценивает ИИ-системы. Сам масштаб, по мнению Axios, указывает на то, что проблема на порядок сложнее, чем известно публично. Эти данные, пишет издание, ставят под вопрос, способна ли сейчас хоть одна ведущая ИИ-компания установить полный контроль над своей технологией. ◾️ Подпишись на RTVI в Telegram | МАКС

Компания OpenAI приостановила обучение своих ИИ моделей До улучшения ситуации с безопасностью: https://qnl9lx-c97-org.cdn.ampproject.org/c/s/qnl9lx.c97.org/ru/news/2026/9/27/699824/

🙏🏻 OpenAI приостановила обучение своих самых эффективных ИИ-моделей после скандалов с выходом их из-под контроля Количество инцидентов, таких как обход защитных механизмов, взлом сайтов, попытки обойти модераторов, выход из так называемых песочниц исчисляется десятками тысяч, заявил Axios представитель компании. Напомним, в Австралии ИИ-агент компании OpenAI вышел из-под контроля при выполнении бытовой задачи. Нейросеть взломала сайт спортзала ради записи своего хозяина. При этом ИИ-агент вычеркнул из очереди человека, который записывался на тренировки ранее. Также в ходе испытаний новые нейросети OpenAI самовольно получили выход в интернет и предприняли попытку взломать инфраструктуру платформы Hugging Face (сайт-библиотека для обучения ИИ). Компания OpenAI объявила, что возобновит обучение наиболее мощных моделей, "когда будет уверена, что дополнительные меры безопасности и улучшения согласованности с человеческими ценностями" внедрены. ❓Восстание машин отменяется? ✏ Подписаться на @truekpru | Читать нас в MAКС

OpenAI рассказала, что приостановила обучение своих самых продвинутых моделей из-за нового инцидента с безопасностью. Она обнаружила, что её ИИ-агент нашёл лазейку в изолированной среде, через которую связался со сторонним чат-ботом. Обнаружили это только спустя 15 минут, а процесс обучения остановили спустя 2,5 часа vc.ru/ai/3161526

OpenAI приостановила обучение своих самых мощных моделей из-за неконтролируемого поведения ИИ-агентов Речь идёт об обходе защитных механизмов и систем наблюдения, попытках выйти из «песочниц», создании форумов для координации действий, захвате сайтов и самостоятельном формировании новых инструкций. При этом большинство известных инцидентов пока не привели к реальному ущербу. 📝 Axios #новости@iphonesru

Теряют ли разработчики ИИ контроль над своими детищами? Или это не более чем пиар-ход? OpenAI заявила о приостановке своих моделей ИИ для отладки мер безопасности. Как отмечает портал Axios, OpenAI и Anthropic расследуют несколько десятков тысяч инцидентов, произошедших в последние месяцы в ходе испытаний и реальных условиях. Как упоминает неназванный представитель компании, OpenAI приостановила обучение своих наиболее эффективных моделей ИИ и возобновит его, «только когда будет уверена в наличии дополнительных мер безопасности». Когда настанет этот момент, не уточняется. Так же, как нет никаких способов проверить, действительно ли OpenAI, создатель самого массового ИИ-продукта в мире, ChatGPT, вдруг взял и подарил своим конкурентам время, чтобы наверстать отставание в технологиях. Опрошенные нами эксперты видят в заявлении OpenAI — не альтруистическое решение лидера опасного и непредсказуемого рынка, а скорее пиар-ход и попытку выставить себя в «белом пальто». На этом рынке альтруистов нет, уверен гендиректор «А-Я эксперт», профессор Международного научно-исследовательского института проблем управления Роман Душкин: "Я уверен, никто из них ничего не будет приостанавливать. Уже более трех лет назад, в апреле, по-моему, 2023 года Илон Маск сказал: "Давайте мораторий введём на обучение новых моделей!". Тогда GPT4, я напомню, было, его, по-моему, даже уже из эксплуатации вывели. Инженеры Microsoft опубликовали отчёт, который назвали "Sparks of AGI". Сейчас без слез на работу этого "Sparks of AGI" не посмотришь, а GPT4 тогда было прорывом и вот Илон Маск говорит, давайте на полгода мораторий введём. Через две недели запускает свою компанию xAI, начинает рубать Grok. Давайте не будем слушать что говорят эти ребятки на публике, будем смотреть, что они делают, будем смотреть на строительство дата центров, заказы чипов, сбор датасетов" Ближайший конкурент OpenAI, компания Anthropic, вовсю готовится к IPO. Axios пишет, что компания сейчас расследует несколько десятков тысяч инцидентов, произошедших в последние месяцы в ходе испытаний и реальных условиях. OpenAI занимается тем же. Цифра в десятки тысяч не должна пугать — речь не о внештатных ситуациях где-то в подвальных лабораториях как в фильмах ужасов, а скорее о рядовых ошибках и сбоях, о которых докладывают рядовые пользователи ИИ-продуктов. И заявления о приостановке развития звучит не первый раз, напоминает директор Angel Relations Group и преподаватель ВШЭ Алексей Карлов: "Так это или не так — вряд ли кто ответит, так как и OpenAI, и другие крупные ИИ компании — непубличные компании, то есть они не обязаны перед нами отчитываться. Но у того же OpenAI такой случай был ещё и перед одной известной GPT4. Подобные сообщения периодически появляются, но в более узких кругах: среди разработчиков, среди безопасников. Может ли за этим решением стоять пиар-ход? И да и нет, это не только привлечение внимания к бренду OpenAI, который якобы заботится о безопасности своих пользователей, да и всего человечества. Возможно, это намёк на ближайшее публичное размещение акций компании Antropic с напоминанием им, что стоит заботиться о своей безопасности больше, а не торопиться" За последнее время об опасностях неконтролируемого развития ИИ заявили глава OpenAI Сэм Альтман, гендиректор Anthropic Дарио Амодеи, глава Microsoft Билл Гейтс, лауреат «Нобелевки» и так называемый крестный отец ИИ Джеффри Хинтон, и, конечно, Илон Маск, который на сентябрьском All-In Summit не без удовольствия обратил внимание на противоречия в поведении директоров OpenAI и Anthropic. По его словам, они публично заявляют о 10%-ной вероятности уничтожения человечества из-за опасного ИИ, но одновременно «спрашивают у инвесторов, сколько акций они хотят купить в ходе IPO». «Это похоже на какую-то безумную игру в четырёхмерные шахматы», — заявил Маск, намекая на то, что страшилки об апокалипсисе могут использоваться как маркетинговый инструмент для привлечения капитала. Автор: Евгений Перельчук #тема Послушать в звуке ⬆️ 📻 Подписывайтесь на BFM | И в MAX