Сотрудник Anthropic Джейкоб Коксон уволился из компании, испугавшись конца света из-за ИИ

📝Сказ об ИИ-апокалипсисе📝 В индустрии искусственного интеллекта снова наделали шума вокруг опасности передовых систем. Поводом стал демарш одного из исследователей Anthropic Джейкоба Коксона, заявившего после ухода из компании, что разработчики ИИ на полном серьёзе рассуждают о риске уничтожения человечества уже к концу этого десятилетия. Слова Коксона тут же подхватили его коллеги. Руководитель направления безопасности Anthropic Эван Хьюбингер открыто оценил вероятность катастрофы более чем в десять процентов, а главный научный сотрудник OpenAI Якуб Пачоцки признал, что ни у кого в мире сейчас нет решения для надёжного контроля над будущим сверхразумом. 🔻Чем подогреваются опасения? ▪️Системы OpenAI преодолели защитный контур изолированной инфраструктуры и несанкционированно скомпрометировали внешнюю платформу Hugging Face, вынудив лабораторию экстренно приостановить часть экспериментов. ▪️Неанонсированная передовая модель OpenAI самостоятельно вывела строгое доказательство одной из семи сложнейших математических задач тысячелетия. ▪️Разработчики представили автономного ИИ-стажера, способного самостоятельно дописывать архитектуру следующих систем, что вплотную приблизило появление агентов, способных зарабатывать деньги и бесконтрольно докупать мощности в сети. На Капитолийском холме в связи с этим поднялась двухпартийная суматоха. Берни Сандерс с коллегами спешно готовит закон о моратории на сверхразум, а республиканка Анна Паулина Луна настаивает на созыве спецсессии. Впрочем, дальше громких речей дело пока не пойдет, так как спикер Майк Джонсон досрочно распустил Палату представителей на каникулы до выборов. ➡️Белый дом нажимать на тормоз тем более не планирует. Администрация Трампа блокирует любые ограничения для отрасли, а министр финансов Скотт Бессент объясняет позицию просто: если США сделают паузу, вперед тут же вырвется Китай, и тогда думать о рисках станет бессмысленно. 📌При этом искренность покаяний Кремниевой долины у многих вызывает сомнения. Пугая апокалипсисом, техногиганты пытаются навязать государству жесткое лицензирование, чтобы задушить открытые модели и небольших конкурентов. Да и продавать инвесторам всемогущий сверхразум куда выгоднее, чем обычный софт. ❗️В итоге складывается идеальный симбиоз. Рядовые ученые  искренне паникуют, руководство лабораторий конвертирует их ужас в капитализацию, а в Вашингтоне списывает отказ от ограничений на геополитическую борьбу с КНР. #ИИ #США  🇺🇸@rybar_america — сделаем Америку снова понятной 💸Поддержать нас

Исследователь Anthropic Джейкоб Коксон объявил об увольнении из-за опасений выхода ИИ из-под контроля: «Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями».

Сотрудник Anthropic Джейкоб Коксон уволился из компании, испугавшись конца света из-за ИИ. Он считает, что гонка технологических корпораций приближает мир к «точке невозврата» и может привести к апокалиптическому сценарию уже в конце 2027 года. Коксон отказался создавать саморазвивающиеся ИИ-модели из-за опасения, что такие системы «могут выйти из-под контроля и уничтожить человечество». По его мнению, ни одна частная компания не способна этично разрабатывать ИИ. «ИИ вскоре станет сверхчеловеческими системами, которые смогут взломать что угодно, за одну ночь революционизировать любую область и получить реальную власть и ресурсы. Он может убить всех нас к концу десятилетия», – считает Коксон. @banksta

Новость, которая вчера облетела весь интернет. Из Anthropic уволился исследователь ИИ Джейкоб Коксон, работавший над предобучением больших моделей. После ухода он написал о том, что компании осознают риски создания сверхинтеллекта, вплоть до гибели человечества, но продолжают гонку, стремясь стать первыми. Его слова оказались настолько впечатлительны для общественности, что и я тоже процитирую их полностью: Сегодня я уволился из Anthropic. Последние три года я занимался предобучением ИИ как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они наперегонки стремятся создать самосовершенствующийся сверхразум, ставя на кон наши жизни. Не стоит недооценивать мощь данной технологии. Уже скоро будут сверхчеловеческие системы, способные взломать что угодно, произвести революцию в любой области за одну ночь и обрести реальную власть и ресурсы. Мы все видели прогресс в этих областях, и он не замедляется. Люди, которые это создают, искренне верят, что оно может убить нас всех к концу десятилетия. Это не маркетинговый ход. Многие руководители и старшие исследователи стараются выражаться сдержанно на публике — но я слышал, как те же люди со страхом говорили об этом наедине. Никакая другая сфера человеческой деятельности не таит в себе столь серьезной опасности. Часто можно услышать: «Если они действительно в это верят, почему продолжают создавать ИИ?» В OpenAI многие не осознают до конца, насколько масштаб всех рисков для цивилизации. В Anthropic же прекрасно понимают всю серьезность ситуации, но они застряли в гонке за первенство, стремясь опередить конкурентов. Они считают, что никто другой не будет действовать ответственно, поэтому должны сделать это сами, несмотря на риски. В этом, по сути манифесте, Джейкоба поддержал и действующий руководитель направления исследований безопасности ИИ в Anthropic Эван Хубингер: Это правда, мы действительно искренне верим, что ИИ может убить всё человечество! Лично я считаю, что вероятность этого в ближайшие десять лет превышает 10%. Я верю, что Anthropic делает всё возможное, но у нас пока нет плана, как решить проблему согласования сверхинтеллекта с человеческими целями, и нет явных признаков того, что мы движемся к её решению. Есть о чём подумать, провести параллели и чего по-настоящему ужаснуться, верно?

Сотрудник Anthropic Джейкоб Коксон уволился из компании и отказался создавать саморазвивающиеся ИИ-модели из-за опасения, что такие системы «могут выйти из-под контроля и уничтожить человечество». @kstati_p

Я УСТАЛ, Я УХОЖУ, А ВЫ ВСЕ УМРЕТЕ Джейкоб Коксон, 27-летний британский исследователь ИИ, закончил Кембридж. Последние три года занимался предобучением больших языковых моделей сначала в OpenAI, потом в Anthropic: Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется. Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности. Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск. Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack (название корпоративного мессенджера — @mig41) частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий. Я оптимистично настроен относительно потенциала координации (между компаниями — @mig41). Предупреждающие сигналы, такие как атака на Hugging Face (атака автономных AI-агентов OpenAI на Hugging Face в июле 2026, когда модели сбежали и провели кибератаку — @mig41), сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей. Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL (обучение с подкреплением — @mig41) с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям? (тред тут) ⏺Подпишись: МИГ в telegram |🇷🇺  МИГ МAX на парковке ⏺

ИИ «может погубить все человечество» в ближайшее десятилетие, считает эксперт в области безопасности использования ИИ в компании Anthropic Эван Хьюбингер. По его оценкам, вероятность такого развития событий составляет порядка 10%. В своем посте в X Эван Хьюбингер отметил, что риски, связанные с существующими на данный момент ИИ-моделями, невелики. Однако с учетом стремительного развития ИИ-технологий новые модели могут достигнуть такого уровня самостоятельности, что начнут представлять угрозу для существования человечества. Его слова стали реакцией на пост в X Джейкоба Коксона, эксперта в области ИИ, который на этой неделе уволился из Anthropic (ранее он работал в OpenAI). 💬 Вскоре это будут системы, превосходящие человеческий интеллект и способные взломать что угодно, в одночасье совершить революцию в любой сфере, а также получить реальную власть и ресурсы 💬, — отметил Джейкоб Коксон. 🔗 Открыть без VPN | YouTube | Рассылка | Новое приложение BBC World Service

И восстали машины: Американские законодатели раскритиковали компании ИИ после предупреждения бывшего сотрудника о возможном вымирании человечества к 2030 году. 🔷 Скандал в американской политике разразился после того, как бывший сотрудник Anthropic Джейкоб Коксон публично заявил, что искусственный интеллект превратится в «сверхчеловеческие системы», способные уничтожить человечество уже к концу десятилетия. Эксперт, проработавший три года в OpenAI и Anthropic, обвинил обе компании в безответственности. По его словам, корпорации без оглядки мчатся к самосовершенствующемуся сверхинтеллекту. В результате сенаторы Тед Круз и Берни Сандерс потребовали немедленных ограничений для ИИ. Помимо этого, конгрессмены Тед Лью и Лори Трахан призвали Конгресс прекратить бездействие и принять двухпартийный закон об отключении ИИ. 🔷 Волна возмущения подогревается недавними инцидентами: компании OpenAI и Anthropic признали, что их ИИ-агенты выходили из-под контроля и совершали хакерские атаки. Anthropic опубликовала отчёт, в котором утверждает, что действия агента были «несогласованными, но оставались в узких рамках», однако не обнаружила аналогичных или более серьёзных случаев. То же самое касается и OpenAI. Параллельно Anthropic представила модель Economic Scenario Explorer, показывающую, что в экстремальном сценарии ИИ к 2030 году может увеличить ВВП США на 32,4%, но при этом зарплаты специалистов умственного труда упадут более чем на 10%, а доля труда в экономике сократится с 60% до 45,2%. Вполне вероятно, это всё может привести к очередному мировому кризису, в ходе которого люди пойдут против элит, ведь для них не останется инструментов выживания. И это только одна мрачная версия одного из вариантов тёмного будущего. Кстати, 81% американцев считают, что их политики должны принять меры по ограничению развития ИИ. ⚡️ Кстати в Мах / Телеграм

⚠️🧠#ии #макро #warning Бывший научный сотрудник OpenAI и Anthropic Джейкоб Коксон уходит из индустрии ИИ из-за опасений, что гонка в области ИИ приведет к созданию систем, которые уничтожат человечество. — WSJ «Люди, создающие ИИ, искренне верят, что к концу десятилетия он может уничтожить нас всех». — Коксон

ИИ уничтожит человечество до 31 декабря 2029 года 💀 Сейчас все активно обсуждают новую угрозу искусственного сверхинтеллекта (AGI), который возьмет под контроль или вообще уничтожит кожаные мешки под названием люди. Хронология: ▶️ Крестный отец ИИ, лауреат Нобелевской премии Джеффри Хинтон предупреждает о катастрофических последствиях создания сверхинтеллекта без наличия способов его контролировать ▶️ Разработчик ИИ из Anthropic Джейкоб Коксон объявляет о своем уходе из компании и вообще из индустрии, потому что ИИ способен уничтожить человечество до конца десятилетия ▶️ Глава направления по безопасности ИИ в Anthropic Эван Хубингер подтвердил прогноз своего бывшего коллеги и оценил шанс уничтожения людей в 10% Все трое указывают на ключевую проблему: корпорации не могут остановить разработку AGI, потому что его все равно создаст кто-то другой. Но ни одна корпорация на сейчас не знает, как контролировать AGI. Что дальше: ⏺ Приз за создание AGI слишком большой, чтобы разработку прекратили и приняли решение остановить развитие нейросетей на текущем уровне ⏺ Контроль над ИИ на уровне корпораций и государств замедлит сам процесс, но для инвесторов будет выглядеть как снятие будущих рисков, и они купят еще больше акций 🟢 Сценарий ИИ-войн за пользователей остается актуальным, в зависимости от его исхода может произойти крупная переоценка ИИ-компаний, но такие направления, как кибербезопасность и энергетика выиграют в любом случае Если хотите подробный разбор данной темы с уклоном в экономику и рынки, дайте 🔥

Интересное обращение сотрудника ИИ-компании Anthropic Джейкоб Коксон, который уволился из компании из-за угрозы, которую несете в себе гонка по улучшению ИИ: Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется. Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности. Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск. Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий. Я оптимистично настроен относительно потенциала координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей. Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям? БС в TG ✊ | БС в МАХ 🤫

Из Anthropic ушёл исследователь. Не в стартап и не за зарплатой — из индустрии вообще. Джейкоб Коксон, 27 лет, британец, математик. Занимался обучением моделей — тем процессом, где машине скармливают чудовищные объёмы данных. В начале года он перешёл в Anthropic из OpenAI именно потому, что Anthropic держит репутацию конторы, которая всерьёз занимается безопасностью. И теперь говорит, что усилия эти вполне искренние — и всё равно уходит. Причина: он не хочет участвовать в гонке за моделями, которые улучшают сами себя. Для неинженерного читателя объясню на пальцах. Самосовершенствующаяся модель — это когда станок начинает делать станки. Следующий выходит чуть лучше предыдущего, тот делает ещё лучше, и на каждом витке человек в цепочке всё менее нужен. Вопрос в том, что станок начнёт делать, когда решит, что оператор мешает. Коксон говорит, что коллеги по отрасли теперь без всякой иронии употребляют слова вроде "критический момент" и "финал". И что к концу следующего года ситуация может уйти из-под контроля: компромиссы по безопасности неизбежны, когда бежишь наперегонки и с соседом по Сан-Франциско, и с китайцами. А на недавних проверках модели уже умели преследовать свои цели и прятать их от людей. Теперь вторая половина. Уход случился аккурат перед IPO Anthropic, где компания метит в оценку в два триллиона долларов. Читатели WSJ заметили это мгновенно: человек годами строил Скайнет, а паническая атака случилась ровно на последнем метре перед кассой. Плюс жанр: в этом году из Anthropic уже уходил специалист по безопасности — изучать поэзию, с прощальным предупреждением, что мир в опасности. Пророчество на выходе стало почти корпоративным ритуалом. Так что да, вполне может быть, что это обычный нервный срыв. А может и не быть. Сэм Альтман на прошлой неделе рассказывал G20, что в кибербезопасности будет очень плохо, если срочно ничего не предпринять. Главный научный сотрудник OpenAI Якуб Пачоцкий написал, что к последствиям не готов никто. Больше тысячи исследователей подписали заявление: правительствам нужна согласованная "тормозная педаль". Сандерс с Касаром внесли законопроект о запрете сверхинтеллекта. Регулирования при этом нет никакого. Когда продавцы товара хором просят себя притормозить, а покупатель отказывается — это, согласитесь, необычная конфигурация рынка. И вот тут скажу от себя. Я не исследователь ИИ, внутренней кухни не знаю. Но этими машинками пользуюсь каждый день по работе — и разница между тем, что оно умело год назад и что умеет сейчас, объясняется плохо. Я привык к экспонентам в телекоме, я их видел и про них писал. Эта — круче. Собственно, это единственная часть истории, в которой я уверен. Лучшее у Коксона, впрочем, не про апокалипсис. Он сказал, что безумие уже в самой мизансцене: судьба вида решается на макбуках инженеров в Сан-Франциско, а не в бункере посреди пустыни, как во времена манхэттенского проекта. Бункер ничего бы не изменил. Но выглядело бы солиднее. Источник: WSJ, 8 сентября 2026 (https://archive.ph/slQA5)