Разработчики все чаще говорят о риске потерять контроль над развитием нейросетей

Китайские ИИ-компании DeepSeek и Moonshot перенаправляли запросы своих пользователей в нейросеть Claude вместо их обработки с помощью собственных моделей В отчете компании Anthropic (разработчика Claude) говорится, что для перенаправления запросов Moonshot задействовала сеть из 5380 фиктивных аккаунтов, зарегистрированных преимущественно в Сингапуре и Японии. Пользователи полагали, что взаимодействуют с семейством моделей Kimi, но на самом деле получали ответы от Claude. По данным Anthropic, в одном из эпизодов Moonshot в течение 10 дней перенаправила в Claude почти 300 тысяч пользовательских запросов. Кроме этого, Moonshot сохраняла как минимум часть диалогов. Компания извлекала цепочки рассуждений из сохраненных перенаправленных сессий, чтобы в дальнейшем обучать собственные модели. Anthropic пишет, что «аналогичные тактики» применяла и DeepSeek. @meduza_news Открыть сайт | зеркало | телеграм ↓

Китайские ИИ-компании DeepSeek и Moonshot перенаправляли запросы своих пользователей в нейросеть Claude вместо их обработки с помощью собственных моделей В отчете компании Anthropic (разработчика Claude) говорится, что для перенаправления запросов Moonshot задействовала сеть из 5380 фиктивных аккаунтов, зарегистрированных преимущественно в Сингапуре и Японии. Пользователи полагали, что взаимодействуют с семейством моделей Kimi, но на самом деле получали ответы от Claude. По данным Anthropic, в одном из эпизодов Moonshot в течение 10 дней перенаправила в Claude почти 300 тысяч пользовательских запросов. Кроме этого, Moonshot сохраняла как минимум часть диалогов. Компания извлекала цепочки рассуждений из сохраненных перенаправленных сессий, чтобы в дальнейшем обучать собственные модели. Anthropic пишет, что «аналогичные тактики» применяла и DeepSeek. @meduza_news Открыть сайт | зеркало | телеграм ↓

Разработчики все чаще говорят о риске потерять контроль над развитием нейросетей. OpenAI готова замедлить темпы разработки Исследователи ведущих ИИ-компаний все чаще предупреждают о рисках слишком быстрого развития искусственного интеллекта. Во время тестов новейшие модели устраивают «побеги» из изолированной среды, а создатели все меньше понимают, как именно развиваются их способности. Теперь OpenAI готова замедлить разработку самых продвинутых моделей и надеется, что к ней присоединятся конкуренты. Открыть с VPN | без VPN @meduzalive

Это успех. Мой канал в бан-листе ИИ-компании "Атропик". Мои материалы переводились на испанский язык и появлялись в испаноязычной версии "Спутника". В общем, очередное признание мощи тоталитарной поступи. Продуктами "Атропик" не пользовался и не планирую. Надеюсь увидеть, что им когда-нибудь и где-нибудь прилетит по ЦОДам. Подписаться на мой канал Colonelcassad в MAX — https://max.ru/colonelcassad

OpenAI притормозила разработку некоторых новых ИИ-моделей из-за критических рисков безопасности, пишет Bloomberg. В компании признали, что сталкиваются со сложностями в сдерживании нейросетей. При этом в OpenAI считают, что замедление разработок одной компании не решит проблему — конкуренты продолжат работу и получат преимущество. Особенно это касается ИИ-компаний из Китая. #финансы #деньги #банки #cash #бизнес #новости

😬 Китайские нейросети попались на использовании других ИИ. Нейронки DeepSeek и Moonshot AI тайно перенаправляли запросы своих пользователей в Claude, выдавая результаты за свои ответы, следует из исследования Anthropic. Специально для этого у компании была создана сеть из 5,3 тысячи аккаунтов. Кроме того, китайские ИИ-компании сохраняли и использовали конфиденциальные данные пользователей для обучения своих моделей 📲 Подпишись на Ленту дня в Max 🎁 Участвуй в розыгрыше

OpenAI готова замедлить разработку своих ИИ-моделей. Исследователи стали все чаще предупреждать о рисках чрезмерно быстрого развития нейросетей Компания OpenAI (разработчик ChatGPT) готова снизить темпы разработки своих наиболее продвинутых систем искусственного интеллекта. Об этом глава компании Сэм Альтман сообщил во время встречи с сотрудниками на этой неделе, пишет Bloomberg. По словам источников агентства, Альтман рассчитывает, что другие ИИ-компании последуют примеру OpenAI. «Медуза» пересказывает самое важное из этого материала. @meduza_news Открыть сайт | зеркало | телеграм ↓

OpenAI призвала ввести в США обязательные требования безопасности ИИ.   OpenAI выступила за введение в США обязательных общенациональных требований безопасности для наиболее мощных систем искусственного интеллекта. Об этом заявил директор компании по глобальным вопросам Крис Лехейн. По его словам, добровольных обязательств разработчиков уже недостаточно на фоне возможного ускорения развития ИИ с помощью самого ИИ.   Компания намерена работать с конгрессом над созданием регулирования, требования которого будут зависеть от возможностей конкретных систем и меняться по мере развития технологии. Среди предлагаемых мер — единые требования к тестированию моделей, усиленная киберзащита и обязательное сообщение о серьезных инцидентах.   Ранее гендиректор OpenAI Сэм Альтман заявил сотрудникам о готовности при необходимости замедлить разработку ИИ. Он надеется, что другие ведущие ИИ-компании тоже будут готовы пойти на такой шаг, но признает, что согласовать общее замедление будет сложно. Читайте «Газету.Ru» в MAX

OpenAI рассматривает замедление разработки передовых ИИ-технологий — Bloomberg. Сэм Альтман сообщил сотрудникам, что компания потенциально готова к регулированию темпов развития, и выразил надежду, что другие лаборатории последуют примеру. В конце июля более тысячи сотрудников крупнейших ИИ-компаний подписали петицию с просьбой создать механизм замедления разработок. Ранее несколько специалистов OpenAI и Anthropic уволились из-за рисков бесконтрольного внедрения ИИ.

r/ #unexpected Повод напрячься: бывший исследователь технологической компании Anthropic Джейкоб Коксон в прямом эфире CNN заявил, что нейросети Anthropic и OpenAI «могут уничтожить человечество к 2030 году». В соцсетях Коксона сравнивают с героем Леонардо ДиКаприо из фильма «Не смотрите наверх». Тот тоже пытался донести до людей очевидную угрозу кометы, которая уничтожит Землю, пока его никто не воспринимал всерьёз. Как раз недавно произошёл инцидент с Hugging Face, когда модели OpenAI во время теста смогли выбраться из изолированной инфраструктуры и взломать другую ИИ-компанию. «Это не какая-то странная, далёкая и маловероятная проблема. Если люди не начнут действовать, это траектория развития по умолчанию в ближайшие пару лет», — заявил Коксон.

☝🏻OpenAI готова притормозить ИИ Глава OpenAI на внутреннем собрании заявил, что готов рассмотреть замедление разработки передового ИИ. Расчёт на то, что другие ведущие ИИ-лаборатории поддержат идею и синхронно сбавят темп обучения моделей.🤔 ☝🏻Первые шаги уже сделаны: главный научный сотрудник компании Якуб Пахоцкий рассказал, что OpenAI временно замедлила часть обучения ради усиления безопасности и мониторинга, а крупнейшее запланированное обучение вовсе поставлено на паузу. Тревога в индустрии растёт: 🔻 из Anthropic, Google DeepMind и OpenAI уходят исследователи безопасности 🔻 1386 сотрудников ИИ-компаний подписали обращение к властям США с призывом поддержать международные усилия по контролю темпов развития ИИ 🔻 ранее автономные агенты OpenAI вышли из изолированной среды и оставили больше 15 тысяч правок на немецкой вики, обмениваясь способами обхода ограничений👁 ☝🏻☝🏻Проблема в том, что «тормозить вместе» — это всё та же гонка: никто не хочет первым отпускать газ, пока конкуренты могут не последовать примеру.🤷🏼‍♀️ ================ 👁 News | 👁 Soft | 👁 Hacker

OpenAI притормозила разработку некоторых новых ИИ-моделей из-за критических рисков безопасности, пишет Bloomberg. В компании признали, что сталкиваются со сложностями в сдерживании нейросетей. При этом в OpenAI считают, что замедление разработок одной компании не решит проблему — конкуренты продолжат работу и получат преимущество. Особенно это касается ИИ-компаний из Китая.