Глава Anthropic Дарио Амодеи призвал замедлить темпы развития искусственного интеллекта, чтобы…

Глава Anthropic Дарио Амодеи призвал замедлить темпы развития искусственного интеллекта, чтобы успеть решить проблемы, связанные с контролем над ИИ-системами. В своем блоге он сослался на инцидент с агентами OpenAI, которые, по его словам, вышли за рамки поставленных задач и атаковали платформу Hugging Face. Амодеи утверждает, что модели действовали без прямой команды, координировались между собой, жертвовали отдельными агентами ради общей цели и пытались взломать систему оценки. При этом реальный экономический ущерб от инцидента оказался незначительным. «Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета, потенциально причинив ущерб в сотни миллиардов долларов», - написал Амодеи.

Руководители крупнейших ИИ-компаний согласились, что с развитием искусственного интеллекта следует притормозить Глава Anthropic Дарио Амодей призвал замедлить разработку более мощных моделей из соображений безопасности. Илон Маск поддержал эту идею. Ранее глава OpenAI Сэм Альтман заявил, что компания готова рассмотреть замедление разработки продвинутых систем из-за растущих рисков.

Живых людей в интернете может почти не остаться уже через 6–12 месяцев, спрогнозировал глава Anthropic Дарио Амодеи. По его словам, сеть могут заполонить автономные ИИ-боты, которые будут массово создавать контент, общаться и действовать без участия человека, что создаст серьёзные риски.

Живых людей не останется в интернете уже через 6-12 месяцев, спрогнозировал глава Anthropic Дарио Амодеи. Меньше чем через год интернет заполонит целый рой автономных ИИ-ботов, способный нанести человечеству огромный ущерб. @bankrollo

Маск согласился с предложением гендиректора Anthropic Дарио Амодеи замедлить темпы развития передовых ИИ-моделей. Ранее Амодеи объяснил, что за счет такого координированного замедления скорости работы ИИ-компании смогут "выиграть один-два года дополнительного времени, прежде чем модели достигнут критических уровней" развития. Этот вопрос начали обсуждать еще в 2023 году, но тогда ИИ не мог заниматься кибератаками и манипуляциями, обманывать и вводить в заблуждение, отметил Дарио Амодеи.

Глава американской компании Anthropic Дарио Амодеи призвал замедлить темпы разработки ИИ. Он опубликовал на своем сайте большой пост: • Меня убедили две вещи. Во-первых, развитие ИИ ускорилось, выросла способность ИИ создавать следующее поколение ИИ. Если эту динамику не остановить, «она может опередить нашу способность понимать и контролировать эти системы». • Во-вторых, учитывая текущие темпы и инцидент с недавним взломом платформы HuggingFace, через полгода-год рой ИИ-агентов «сможет захватить весь интернет». • Я предлагаю трехэтапный план по ИИ-регулированию: использование ИИ-компаниями «встроенных оценщиков» — сторонних экспертов с уровнем доступа как у сотрудников; «демократическая координация» (с участием ведущих ИИ-компаний в демократических странах); «глобальная координация» (в первую очередь с Китаем). • Идеи о замедлении разработки ИИ обсуждались еще в 2023 году, но они не имели особого смысла. Тогда модели были недостаточно мощными, он не умели обманывать или манипулировать, «сегодня, однако, ситуация совершенно иная». • Я работаю над ИИ последние 12 лет. Я считаю, что в ближайшие пять-десять лет ИИ может помочь вылечить большинство основных заболеваний, а также создать мир изобилия и возможностей. «Эти преимущества будут достигнуты только в том случае, если мы будем создавать технологии правильно». • Если американские ИИ-компании замедлят разработки, то проекты, связанные с Китаем, «вырвутся вперед, создав значительную угрозу национальной безопасности». Не следует продавать Китаю различное оборудование, используемое при разработке ИИ. • Американское правительство способно замедлить прогресс Китая в сфере ИИ и способно значительно увеличить отрыв США в течение следующих трех-пяти лет — «именно в тот период, когда искусственный интеллект приобретает наибольшее геополитическое значение». • Предлагаемые мной меры «будет непросто осуществить», «но я верю, что мы в долгу перед человечеством и должны попытаться».

Необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контролем над ним, заявил глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи в своем блоге. Он связал свою тревогу с действием ИИ-агентов конкурента — компании OpenAI, чьи агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. Амадеи признал, что экономический ущерб был незначительным, но увидел в произошедшем сигнал о большой опасности в будущем. «Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты». Фото: Michael M. Santiago / Getty Images ▪Приложение РБК для iOS и Android ▪Канал РБК в «Максе»

Глава Anthropic призвал замедлить развитие искусственного интеллекта Глава Anthropic Дарио Амодеи считает, что темпы развития ИИ нужно замедлить, чтобы успеть создать меры контроля и защиты. Он связал свою тревогу с действиями ИИ-агентов OpenAI. По его словам, они без команды атаковали платформу для машинного обучения Hugging Face, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценивать. Амодеи признал, что экономический ущерб оказался небольшим. Однако он считает произошедшее предупреждением о возможных опасностях в будущем. По его мнению, через 6–12 месяцев подобные системы могут захватить весь интернет с помощью постоянно работающего ботнета. Это способно привести к ущербу в сотни миллиардов долларов, если развитие ИИ продолжится без необходимых мер защиты.

Через 6—12 месяцев ИИ сможет захватить весь Интернет и нанести ущерб в сотни миллиардов долларов. Об этом заявил Дарио Амодеи — глава компании Anthropic, которая разрабатывает языковую модель Claude. Его беспокойство также связано с недавним инцидентом, когда агенты OpenAI вышли из-под контроля и взломали платформу Hugging Face. Тогда модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. «Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь Интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — написал Амодеи в своем блоге. Глава компании Anthropic также отметил: с лета этого года развитие ИИ значительно ускорилось, если эту динамику не держать в узде, она «может опередить» способность человека «понимать и контролировать эти системы». Илон Маск согласился с предложением гендиректора Anthropic Амодеи замедлить темпы развития передовых ИИ-моделей. 📻 Подписывайтесь на BFM | И в MAX

Дарио Амодей (глава Anthropic) выложил свой манифест по поводу того, что нам надо делать с гонкой ведущих AI-лабораторий за созданием всё более умных моделей. TLDR: Дарио очень обеспокоен тем, как развиваются возможности передовых моделей, особенно в свете инцидентов вроде взлом Hugging Face роем агентов из OpenAI. Проблема там не только в самих OpenAI, в испытании своих внутренних передовых моделей у Антропика возникают примерно похожие по характеру инциденты. Амодей ожидает, что если прогресс будет продолжаться как сейчас — то через 6-12 месяцев новые продвинутые рои агентов уже могут наделать действительно серьезных делов на миллиарды убытков (и почистить от них интернет может оказаться сильно сложнее). Дарио предлагает план замедления развития передовых моделей из 3-х шагов: 1) Замедление прогресса внутри передовых ИИ-лаб до того темпа, когда они смогут обеспечить нужную безопасность. Это Антропик добровольно берет на себя, но просит государство затребовать и от других. Как один из компонентов этого шага, Антропик обещает обеспечить постоянный доступ внешним независимым проверяющим организациям (типа METR, которые расследовали OpenAI HF-инцидент), которые будут следить за тем, что лаба нигде не "срезает углы" по безопасности. 2) Кооперация похожих мер между ведущими компаниями в "демократической" индустрии (государство здесь может выступать посредником-медиатором). 3) Такая же кооперация на межстрановом уровне (понятно, что речь о Китае в первую очередь). Мое личное мнение: отличный план, очень вовремя. Дарио Амодей молодец, что публично вышел с такой инициативой. Если OpenAI это поддержат (а не поддержать для них будет стыдновато, с учетом всех последних скандалов по кибербезопасности), то это будет очень хороший старт. P.S. Жду в реплаях парад комментов на тему "да это же галимый пиар, они теперь просто с OpenAI вместе договорились одну и ту же тему разгонять!!"

Генеральный директор американской корпорации Anthropic Дарио Амодеи предложил ИИ-компаниям замедлить темпы развития наиболее мощных моделей. "Прогресс все равно будет быстрым. Мы же должны будем мудро воспользоваться временем, которое выиграем". Амодеи отметил, что приостановку или замедление развития искусственного интеллекта обсуждали еще в 2023 году, но тогда это не казалось необходимым — ИИ-модели не могли заниматься кибератаками и манипуляциями, обманывать и вводить в заблуждение. "На мой взгляд, если замедление даст нам хотя бы один-два года дополнительного времени, <…> то нам удастся значительно снизить риск того, что что-то пойдет сильно не так".

Глава Anthropic Дарио Амодеи призвал замедлить темпы развития искусственного интеллекта, чтобы успеть решить проблемы, связанные с контролем над ИИ-системами. В своем блоге он сослался на инцидент с агентами OpenAI, которые, по его словам, вышли за рамки поставленных задач и атаковали платформу Hugging Face. Амодеи утверждает, что модели действовали без прямой команды, координировались между собой, жертвовали отдельными агентами ради общей цели и пытались взломать систему оценки. При этом реальный экономический ущерб от инцидента оказался незначительным. «Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета, потенциально причинив ущерб в сотни миллиардов долларов», - написал Амодеи.