Разработчики все чаще говорят о риске потерять контроль над развитием нейросетей

Китайские ИИ-компании DeepSeek и Moonshot перенаправляли запросы своих пользователей в нейросеть Claude вместо их обработки с помощью собственных моделей В отчете компании Anthropic (разработчика Claude) говорится, что для перенаправления запросов Moonshot задействовала сеть из 5380 фиктивных аккаунтов, зарегистрированных преимущественно в Сингапуре и Японии. Пользователи полагали, что взаимодействуют с семейством моделей Kimi, но на самом деле получали ответы от Claude. По данным Anthropic, в одном из эпизодов Moonshot в течение 10 дней перенаправила в Claude почти 300 тысяч пользовательских запросов. Кроме этого, Moonshot сохраняла как минимум часть диалогов. Компания извлекала цепочки рассуждений из сохраненных перенаправленных сессий, чтобы в дальнейшем обучать собственные модели. Anthropic пишет, что «аналогичные тактики» применяла и DeepSeek. @meduza_news Открыть сайт | зеркало | телеграм ↓

Китайские ИИ-компании DeepSeek и Moonshot перенаправляли запросы своих пользователей в нейросеть Claude вместо их обработки с помощью собственных моделей В отчете компании Anthropic (разработчика Claude) говорится, что для перенаправления запросов Moonshot задействовала сеть из 5380 фиктивных аккаунтов, зарегистрированных преимущественно в Сингапуре и Японии. Пользователи полагали, что взаимодействуют с семейством моделей Kimi, но на самом деле получали ответы от Claude. По данным Anthropic, в одном из эпизодов Moonshot в течение 10 дней перенаправила в Claude почти 300 тысяч пользовательских запросов. Кроме этого, Moonshot сохраняла как минимум часть диалогов. Компания извлекала цепочки рассуждений из сохраненных перенаправленных сессий, чтобы в дальнейшем обучать собственные модели. Anthropic пишет, что «аналогичные тактики» применяла и DeepSeek. @meduza_news Открыть сайт | зеркало | телеграм ↓

Группа обладателей Филдсовской премии — самой престижной награды в области математики — написали открытое письмо о вреде ИИ-гонки для математики. В нем говорится: • Стремление ИИ-компаний решать математические задачи как тест для моделей вредит математике как науке. Цели ИИ-компаний и математиков серьезно расходятся: «Самые ценные ресурсы нашей профессии — это студенты и идеи». • «Решение задач — лишь инструмент и приблизительная мера главной цели: понимания и прозрения. Забыв об этом в мире ИИ, мы рискуем обратить инструмент против самой цели». • «Массовое производство все более быстрым темпом утверждений „истинно / ложно“ способно выжечь плодородную почву вместо того, чтобы вдохнуть жизнь в новые идеи». • Некоторые решения объявляются в спешке, не оставляя времени на выделение новых методов и идей, «это порождает серьезные вопросы об авторстве и плагиате». • «Мы наблюдаем общую угрозу интеллектуальному труду — расхождение между тем, что дает применение ИИ, и тем, ради чего труд затевался. Во многих областях годы обучения традиционно служили не только тому, чтобы получить итоговый ответ или продукт, но и тому, чтобы выработать понимание и способность ставить новые вопросы». Письмо пока подписали 25 математиков.

Разработчики все чаще говорят о риске потерять контроль над развитием нейросетей. OpenAI готова замедлить темпы разработки Исследователи ведущих ИИ-компаний все чаще предупреждают о рисках слишком быстрого развития искусственного интеллекта. Во время тестов новейшие модели устраивают «побеги» из изолированной среды, а создатели все меньше понимают, как именно развиваются их способности. Теперь OpenAI готова замедлить разработку самых продвинутых моделей и надеется, что к ней присоединятся конкуренты. Открыть с VPN | без VPN @meduzalive

OpenAI рассматривает возможность замедлить разработку искусственного интеллекта из-за растущих рисков безопасности. Новые опасения вызвали ИИ-агенты, которые научились обходить установленные ограничения и самостоятельно работать с внешними системами. Более 1000 специалистов из сферы ИИ подписали петицию с призывом создать механизм для принудительного замедления разработок. На этом фоне некоторые эксперты по безопасности уже покинули ведущие лаборатории. Главный научный сотрудник OpenAI призвал участников рынка к координации действий и совместной паузе до создания единых стандартов безопасности, а Сэм Альтман надеется, что другие ИИ-компании поддержат эту инициативу. Но глава Минфина США Скотт Бессент не согласен с позицией разработчиков ИИ и призывает к гонке с Пекином. «Мы опережаем китайцев. Мы должны сохранять это преимущество, потому что если мы отстанем, всё остальное уже не будет иметь значения», – заявил Бессент. @banksta

Это успех. Мой канал в бан-листе ИИ-компании "Атропик". Мои материалы переводились на испанский язык и появлялись в испаноязычной версии "Спутника". В общем, очередное признание мощи тоталитарной поступи. Продуктами "Атропик" не пользовался и не планирую. Надеюсь увидеть, что им когда-нибудь и где-нибудь прилетит по ЦОДам. Подписаться на мой канал Colonelcassad в MAX — https://max.ru/colonelcassad

Маск согласился с предложением гендиректора Anthropic Дарио Амодеи замедлить темпы развития передовых ИИ-моделей. Ранее Амодеи объяснил, что за счет такого координированного замедления скорости работы ИИ-компании смогут "выиграть один-два года дополнительного времени, прежде чем модели достигнут критических уровней" развития. Этот вопрос начали обсуждать еще в 2023 году, но тогда ИИ не мог заниматься кибератаками и манипуляциями, обманывать и вводить в заблуждение, отметил Дарио Амодеи.

Глава американской компании Anthropic Дарио Амодеи призвал замедлить темпы разработки ИИ. Он опубликовал на своем сайте большой пост: • Меня убедили две вещи. Во-первых, развитие ИИ ускорилось, выросла способность ИИ создавать следующее поколение ИИ. Если эту динамику не остановить, «она может опередить нашу способность понимать и контролировать эти системы». • Во-вторых, учитывая текущие темпы и инцидент с недавним взломом платформы HuggingFace, через полгода-год рой ИИ-агентов «сможет захватить весь интернет». • Я предлагаю трехэтапный план по ИИ-регулированию: использование ИИ-компаниями «встроенных оценщиков» — сторонних экспертов с уровнем доступа как у сотрудников; «демократическая координация» (с участием ведущих ИИ-компаний в демократических странах); «глобальная координация» (в первую очередь с Китаем). • Идеи о замедлении разработки ИИ обсуждались еще в 2023 году, но они не имели особого смысла. Тогда модели были недостаточно мощными, он не умели обманывать или манипулировать, «сегодня, однако, ситуация совершенно иная». • Я работаю над ИИ последние 12 лет. Я считаю, что в ближайшие пять-десять лет ИИ может помочь вылечить большинство основных заболеваний, а также создать мир изобилия и возможностей. «Эти преимущества будут достигнуты только в том случае, если мы будем создавать технологии правильно». • Если американские ИИ-компании замедлят разработки, то проекты, связанные с Китаем, «вырвутся вперед, создав значительную угрозу национальной безопасности». Не следует продавать Китаю различное оборудование, используемое при разработке ИИ. • Американское правительство способно замедлить прогресс Китая в сфере ИИ и способно значительно увеличить отрыв США в течение следующих трех-пяти лет — «именно в тот период, когда искусственный интеллект приобретает наибольшее геополитическое значение». • Предлагаемые мной меры «будет непросто осуществить», «но я верю, что мы в долгу перед человечеством и должны попытаться».

OpenAI притормозила разработку некоторых новых ИИ-моделей из-за критических рисков безопасности, пишет Bloomberg. В компании признали, что сталкиваются со сложностями в сдерживании нейросетей. При этом в OpenAI считают, что замедление разработок одной компании не решит проблему — конкуренты продолжат работу и получат преимущество. Особенно это касается ИИ-компаний из Китая. #финансы #деньги #банки #cash #бизнес #новости

😬 Китайские нейросети попались на использовании других ИИ. Нейронки DeepSeek и Moonshot AI тайно перенаправляли запросы своих пользователей в Claude, выдавая результаты за свои ответы, следует из исследования Anthropic. Специально для этого у компании была создана сеть из 5,3 тысячи аккаунтов. Кроме того, китайские ИИ-компании сохраняли и использовали конфиденциальные данные пользователей для обучения своих моделей 📲 Подпишись на Ленту дня в Max 🎁 Участвуй в розыгрыше

OpenAI готова замедлить разработку своих ИИ-моделей. Исследователи стали все чаще предупреждать о рисках чрезмерно быстрого развития нейросетей Компания OpenAI (разработчик ChatGPT) готова снизить темпы разработки своих наиболее продвинутых систем искусственного интеллекта. Об этом глава компании Сэм Альтман сообщил во время встречи с сотрудниками на этой неделе, пишет Bloomberg. По словам источников агентства, Альтман рассчитывает, что другие ИИ-компании последуют примеру OpenAI. «Медуза» пересказывает самое важное из этого материала. @meduza_news Открыть сайт | зеркало | телеграм ↓

OpenAI призвала ввести в США обязательные требования безопасности ИИ.   OpenAI выступила за введение в США обязательных общенациональных требований безопасности для наиболее мощных систем искусственного интеллекта. Об этом заявил директор компании по глобальным вопросам Крис Лехейн. По его словам, добровольных обязательств разработчиков уже недостаточно на фоне возможного ускорения развития ИИ с помощью самого ИИ.   Компания намерена работать с конгрессом над созданием регулирования, требования которого будут зависеть от возможностей конкретных систем и меняться по мере развития технологии. Среди предлагаемых мер — единые требования к тестированию моделей, усиленная киберзащита и обязательное сообщение о серьезных инцидентах.   Ранее гендиректор OpenAI Сэм Альтман заявил сотрудникам о готовности при необходимости замедлить разработку ИИ. Он надеется, что другие ведущие ИИ-компании тоже будут готовы пойти на такой шаг, но признает, что согласовать общее замедление будет сложно. Читайте «Газету.Ru» в MAX