Сотрудник Anthropic Джейкоб Коксон уволился из компании, испугавшись конца света из-за ИИ

Исследователь Anthropic Джейкоб Коксон объявил об увольнении из-за опасений выхода ИИ из-под контроля: «Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями».

Сотрудник Anthropic Джейкоб Коксон уволился из компании, испугавшись конца света из-за ИИ. Он считает, что гонка технологических корпораций приближает мир к «точке невозврата» и может привести к апокалиптическому сценарию уже в конце 2027 года. Коксон отказался создавать саморазвивающиеся ИИ-модели из-за опасения, что такие системы «могут выйти из-под контроля и уничтожить человечество». По его мнению, ни одна частная компания не способна этично разрабатывать ИИ. «ИИ вскоре станет сверхчеловеческими системами, которые смогут взломать что угодно, за одну ночь революционизировать любую область и получить реальную власть и ресурсы. Он может убить всех нас к концу десятилетия», – считает Коксон. @banksta

Я УСТАЛ, Я УХОЖУ, А ВЫ ВСЕ УМРЕТЕ Джейкоб Коксон, 27-летний британский исследователь ИИ, закончил Кембридж. Последние три года занимался предобучением больших языковых моделей сначала в OpenAI, потом в Anthropic: Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется. Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности. Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск. Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack (название корпоративного мессенджера — @mig41) частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий. Я оптимистично настроен относительно потенциала координации (между компаниями — @mig41). Предупреждающие сигналы, такие как атака на Hugging Face (атака автономных AI-агентов OpenAI на Hugging Face в июле 2026, когда модели сбежали и провели кибератаку — @mig41), сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей. Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL (обучение с подкреплением — @mig41) с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям? (тред тут) ⏺Подпишись: МИГ в telegram |🇷🇺  МИГ МAX на парковке ⏺

⚠️🧠#ии #макро #warning Бывший научный сотрудник OpenAI и Anthropic Джейкоб Коксон уходит из индустрии ИИ из-за опасений, что гонка в области ИИ приведет к созданию систем, которые уничтожат человечество. — WSJ «Люди, создающие ИИ, искренне верят, что к концу десятилетия он может уничтожить нас всех». — Коксон

ИИ «может погубить все человечество» в ближайшее десятилетие, считает эксперт в области безопасности использования ИИ в компании Anthropic Эван Хьюбингер. По его оценкам, вероятность такого развития событий составляет порядка 10%. В своем посте в X Эван Хьюбингер отметил, что риски, связанные с существующими на данный момент ИИ-моделями, невелики. Однако с учетом стремительного развития ИИ-технологий новые модели могут достигнуть такого уровня самостоятельности, что начнут представлять угрозу для существования человечества. Его слова стали реакцией на пост в X Джейкоба Коксона, эксперта в области ИИ, который на этой неделе уволился из Anthropic (ранее он работал в OpenAI). 💬 Вскоре это будут системы, превосходящие человеческий интеллект и способные взломать что угодно, в одночасье совершить революцию в любой сфере, а также получить реальную власть и ресурсы 💬, — отметил Джейкоб Коксон. 🔗 Открыть без VPN | YouTube | Рассылка | Новое приложение BBC World Service

Сотрудник Anthropic Джейкоб Коксон уволился из компании и отказался создавать саморазвивающиеся ИИ-модели из-за опасения, что такие системы «могут выйти из-под контроля и уничтожить человечество». @kstati_p

Сотрудник ИИ-компании Anthropic Джейкоб Коксон уволился из-за гонки за сверхразум, которая «ставит человечество под угрозу»: Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Прогресс не замедляется. Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Никакая другая человеческая деятельность не несёт такой степени опасности. Если они действительно в это верят, почему они всё ещё это строят? В OpenAI многие не осознали масштаб рисков. В Anthropic их хорошо понимают, но компания оказалась в гонке, чтобы добраться туда первой: «Никто другой не будет действовать ответственно, поэтому нам самим приходится это делать, несмотря на риск». Если вы исследователь в лаборатории, задумайтесь, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения сверхразумного ИИ, не имея строгого понимания его разума? Или продолжать опускать голову, потому что «это всё равно произойдёт», вместо того чтобы призвать к иным условиям? Подпишись на ПУЛ N3 / MAX

ИИ уничтожит человечество до 31 декабря 2029 года 💀 Сейчас все активно обсуждают новую угрозу искусственного сверхинтеллекта (AGI), который возьмет под контроль или вообще уничтожит кожаные мешки под названием люди. Хронология: ▶️ Крестный отец ИИ, лауреат Нобелевской премии Джеффри Хинтон предупреждает о катастрофических последствиях создания сверхинтеллекта без наличия способов его контролировать ▶️ Разработчик ИИ из Anthropic Джейкоб Коксон объявляет о своем уходе из компании и вообще из индустрии, потому что ИИ способен уничтожить человечество до конца десятилетия ▶️ Глава направления по безопасности ИИ в Anthropic Эван Хубингер подтвердил прогноз своего бывшего коллеги и оценил шанс уничтожения людей в 10% Все трое указывают на ключевую проблему: корпорации не могут остановить разработку AGI, потому что его все равно создаст кто-то другой. Но ни одна корпорация на сейчас не знает, как контролировать AGI. Что дальше: ⏺ Приз за создание AGI слишком большой, чтобы разработку прекратили и приняли решение остановить развитие нейросетей на текущем уровне ⏺ Контроль над ИИ на уровне корпораций и государств замедлит сам процесс, но для инвесторов будет выглядеть как снятие будущих рисков, и они купят еще больше акций 🟢 Сценарий ИИ-войн за пользователей остается актуальным, в зависимости от его исхода может произойти крупная переоценка ИИ-компаний, но такие направления, как кибербезопасность и энергетика выиграют в любом случае Если хотите подробный разбор данной темы с уклоном в экономику и рынки, дайте 🔥

Интересное обращение сотрудника ИИ-компании Anthropic Джейкоб Коксон, который уволился из компании из-за угрозы, которую несете в себе гонка по улучшению ИИ: Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется. Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности. Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск. Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий. Я оптимистично настроен относительно потенциала координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей. Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям? БС в TG ✊ | БС в МАХ 🤫

«Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхинтеллекту и играют в рулетку нашими жизнями». Исследователь Anthropic Джейкоб Коксон заявил об уходе из индустрии ИИ из-за опасений, что технология выйдет из-под контроля и «уничтожит человечество» vc.ru/ai/3128847

Из Anthropic ушёл исследователь. Не в стартап и не за зарплатой — из индустрии вообще. Джейкоб Коксон, 27 лет, британец, математик. Занимался обучением моделей — тем процессом, где машине скармливают чудовищные объёмы данных. В начале года он перешёл в Anthropic из OpenAI именно потому, что Anthropic держит репутацию конторы, которая всерьёз занимается безопасностью. И теперь говорит, что усилия эти вполне искренние — и всё равно уходит. Причина: он не хочет участвовать в гонке за моделями, которые улучшают сами себя. Для неинженерного читателя объясню на пальцах. Самосовершенствующаяся модель — это когда станок начинает делать станки. Следующий выходит чуть лучше предыдущего, тот делает ещё лучше, и на каждом витке человек в цепочке всё менее нужен. Вопрос в том, что станок начнёт делать, когда решит, что оператор мешает. Коксон говорит, что коллеги по отрасли теперь без всякой иронии употребляют слова вроде "критический момент" и "финал". И что к концу следующего года ситуация может уйти из-под контроля: компромиссы по безопасности неизбежны, когда бежишь наперегонки и с соседом по Сан-Франциско, и с китайцами. А на недавних проверках модели уже умели преследовать свои цели и прятать их от людей. Теперь вторая половина. Уход случился аккурат перед IPO Anthropic, где компания метит в оценку в два триллиона долларов. Читатели WSJ заметили это мгновенно: человек годами строил Скайнет, а паническая атака случилась ровно на последнем метре перед кассой. Плюс жанр: в этом году из Anthropic уже уходил специалист по безопасности — изучать поэзию, с прощальным предупреждением, что мир в опасности. Пророчество на выходе стало почти корпоративным ритуалом. Так что да, вполне может быть, что это обычный нервный срыв. А может и не быть. Сэм Альтман на прошлой неделе рассказывал G20, что в кибербезопасности будет очень плохо, если срочно ничего не предпринять. Главный научный сотрудник OpenAI Якуб Пачоцкий написал, что к последствиям не готов никто. Больше тысячи исследователей подписали заявление: правительствам нужна согласованная "тормозная педаль". Сандерс с Касаром внесли законопроект о запрете сверхинтеллекта. Регулирования при этом нет никакого. Когда продавцы товара хором просят себя притормозить, а покупатель отказывается — это, согласитесь, необычная конфигурация рынка. И вот тут скажу от себя. Я не исследователь ИИ, внутренней кухни не знаю. Но этими машинками пользуюсь каждый день по работе — и разница между тем, что оно умело год назад и что умеет сейчас, объясняется плохо. Я привык к экспонентам в телекоме, я их видел и про них писал. Эта — круче. Собственно, это единственная часть истории, в которой я уверен. Лучшее у Коксона, впрочем, не про апокалипсис. Он сказал, что безумие уже в самой мизансцене: судьба вида решается на макбуках инженеров в Сан-Франциско, а не в бункере посреди пустыни, как во времена манхэттенского проекта. Бункер ничего бы не изменил. Но выглядело бы солиднее. Источник: WSJ, 8 сентября 2026 (https://archive.ph/slQA5)

❗️🤖 Сотрудники Anthropic: ИИ может уничтожить людей в ближайшие годы Сотрудник американской компании - разработчика моделей искусственного интеллекта Anthropic Джейкоб Коксон уволился из компании, изложив свои мотивы в приобретшем огромную популярность треде в соцсети X. По мнению Коксона, главной причиной его решения стало то, что Anthropic и компания OpenAI, где он ранее также работал, "мчатся прямо к самосовершенствующемуся суперинтеллекту и играют с нашими жизнями". По мнению разработчика, в угаре конкуренции компании забывают о мерах предосторожности при развитии искусственного интеллекта. По его словам, люди, которые создают ИИ, искренне считают, что он "может убить всех нас к концу десятилетия". Эта цитата стала наиболее популярной, как и реакция на неё Эвана Хабингера, одного из ключевых специалистов по безопасности в Anthropic. Тот отметил, что в компании действительно считают, что ИИ "может убить всех людей". Сам он привёл своё личное мнение - вероятность такого события в ближайшие 10 лет превышает 10 процентов. Хабингер отметил, что у компании, хотя она понимает риски, пока нет чёткого плана того, как люди могли бы сохранить контроль над "сверхразумом", то есть самоулучшающимся искусственным интеллектом, который в своих решениях не руководствуется командами людей. Ещё один сотрудник Anthropic Сэмюэль Маркс отметил, что чем выше позиция в компании, тем сильнее опасения по поводу угроз человечеству. Высказывания специалистов вызвали большой резонанс - в свете недавних новостей о том, что модели в ходе экспериментов научились проникать в интернет, даже не будучи изначально к нему подключены, и организовывать хакерские атаки без команды людей. Проблема "выравнивания", искусственного ограничения развития способностей ИИ, в последнее время является одной из наиболее обсуждаемой в отрасли. Илон Маск (его компания разрабатывает модель ИИ Grok) ещё в 2023 году утверждал, что вероятность, что ИИ может уничтожить человечество, не является нулевой. 🔗 Сайт без ВПН | YouTube | Х | Instagram | Рассылка