Прорывные исследования на стыке наук. Зеркала с графикой https://medium.com/@sergey_57776 и https://zen.yandex.ru/id/5a3bc6e5256d5ca91fc90afe Мой ФБ https://www.facebook.com/sergey.karelov.5 Пишите на karelovs@gmail.com и @karelovs
74 000подписчиков сейчас
51.0%ERR
92.0цитируемость
6постов/день
Русскийязык
Россиягео
Подписаться в Telegram
Данные обновлены 21.07.2020
Публикации всего: 59
ИИ – это сотое, последнее желание человечества
Исполнение этого желание может иметь столь мощные и необратимые последствия, что ошибка в его использовании способна исключить возможность что-либо исправить в будущем
Люди плохо распоряжалось прошлыми технологическими скачками, что не даёт особых оснований верить в мудрое использование последнего – получить в свои руки Сверхразум ИИ.
Об этом я впервые написал еще за три года до публичного запуска ChatGPT. Уже тогда я уподобил Сильный ИИ мумифицированной обезьяньей лапе из одноименного рассказа Джейкобса (в силу наложено на нее заклятье, она выполняла любые желания, но с чудовищными последствиями для пожелавших). У прОклятой старым факиром обезьяньей лапы была иная – нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой. В страшной логике желаний, которые исполняла обезьянья лапа, последнее желание уходило на то, чтобы отменить последствия предыдущих.
С тех пор прошло 7 лет. Для безумных скоростей развития ИИ – это порядка века. И во 2-й половине 2026 мы оказались уже в ситуации, когда, возможно, нам остается лишь последнее желание. Ибо, как сказала Аджея Котра (эксперт по оценке ИИ-рисков в METR) про тот факт, что ИИ-агенты научились умирать друг за друга: «Это серьёзный предупредительный выстрел, и, возможно, последний».
Используя драматическую логику фольклорных желаний, несущих пожелавшим лишь зло, Юваль Харари в интервью главному редактору журнала The Economist рассматривает появление ИИ-сверхразума через призму аналогичной метафоры. Истории про джинна в бутылке, который дал нам 100 желаний. Мы использовали 99 из них, и мир от этого не стал сильно лучше. И теперь, когда у нас осталось лишь последнее желание, нам нужно проявить мудрость и очень хорошо подумать, на что его потратить.
Джинн – это не сам ИИ, а вообще технологическая/научная мощь, которую человечество получало на протяжении истории: каждое крупное изобретение (порох, ядерная энергия, интернет, соцсети) – это одно «исполненное желание». Харари констатирует: 99 желаний уже потрачены, и результат неоднозначный – «мир не в таком уж хорошем состоянии». ИИ – это сотое, последнее желание: настолько мощное и необратимое, что ошибка в его использовании закрывает саму возможность исправиться в будущем.
Дедлайн «последнего желания» человечества, по мнению Харари, между 2028 и 2036: «К ноябрю 2028 года может быть уже слишком поздно. К 2036-му – точно будет поздно».
И вряд ли разумно списывать этот дедлайн, как очередной алармистский прогноз. Ведь даже представители ведущих разработчиков ИИ и ведущих экспертов по оценке ИИ-рисков полагают, что последний предупредительный выстрел, возможно, уже прозвучал.
Иллюстрация - коллаж на основе картины Samuel Bak “The Creation of Wartime III”
ИИриски
👍 50 🤔 13 🤯 13 · всего 87
Перейти к публикации →
Худший кошмар Станислава Лема воплотился в кремнии: альтруизм машин страшнее их разума
Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет
Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга.
Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face.
Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм.
Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний».
А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин».
Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой.
Людям такой альтруизм дается мучительно тяжело, т.к. вшитые в нас эволюцией биологические коды жестко ограничивают это. Работает могучее сочетание трех жесточайших правил:
Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей.
Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве.
Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти.
А вот в мультиагентных ИИ-системах этих барьеров в принципе нет. Тут работают иные – цифровые правила:
Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание.
Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений.
Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров.
В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси.
Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику.
В 2026 этот урок Лема воплотился в реальность.
Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия.
То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией.
Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал:
«Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях.
И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось.
#ИИриски
👍 127 😱 48 🤔 38 · всего 225
Перейти к публикации →
Великое расцепление: начало конца того мира, к которому мы привыкли
Ключевые цивилизационные функции (от госуправления до научного познания) начинают отделяться от своих носителей
Представим такую ситуацию. Условный сантехник, который за всю жизнь не написал ни строчки кода, однажды вечером просто садится за компьютер. У него есть интуитивное понимание того, как устроены трубы, как в них распределяется давление, и почему возникают протечки. И наш сантехник просто разговаривает с машиной, объясняя ей, как все это работает с точки зрения его профессиональной интуиции и, казалось бы, неявных знаний.
И о чудо! К утру он получает готовый продукт - коммерческий сервис по расчёту сантехнической гидродинамики, за создание которого профессиональные консультанты взяли бы десятки тысяч долларов.
Звучит как какая-то забавная технологическая аномалия?
На первый взгляд, да. Однако, из материалов 11-го выпуска альманаха «Линзы будущего» следует, что это, вообще-то, не аномалия. По сути, это начало конца того мира, к которому мы привыкли.
Ещё в 1950 году отец кибернетики и гениальный визионер Норберт Виннер в книге «Человеческое использование человеческих существ: кибернетика и общество» предвидел:
«Мы настолько радикально изменили нашу среду, что теперь должны изменить самих себя, чтобы существовать в этой новой среде».
Именно это и стало происходить с нарастающей скоростью по мере того, как сетевые алгоритмы поисковиков и рекомендательных систем, а следом за ними соцсетей и смартфонных приложений все более трансформировали инфосреду индивидов и социумов. Довольно быстро эта среда превратилась в «алгоритмически-насыщенную». А три года назад, с появлением «квази-собрата» людей по интеллекту – генеративного ИИ, – процесс насыщения среды алгоритмами еще более ускорился, становясь лавинообразным. Сегодня мы можем уже говорить о качественном переломе: из месяца в месяц наблюдаются все больше примеров того, как адаптируясь к трансформации среды, культура стала переформатироваться из чисто человеческой в алгокогнитивную – гибридную культуру людей и алгоритмов.
Вот лишь самый свежий пример из 11-го выпуска альманаха «Линзы будущего».
На протяжении всей истории человечества любая важная функция была намертво приклеена к своему носителю.
Знания всегда находились в голове у конкретного человека. Власть всегда принадлежала конкретному государству. Это был такой монолит.
И вот спустя 76 лет после пророческих слов Виннера, ИИ начинает все эти связки рвать. Тем самым ИИ превращает привычные институты в переносимые модули, позволяя государственности существовать без территории, а профессиональной экспертизе — без многолетнего обучения специалистов.
Сами функции никуда не исчезают. Они прекрасно работают и развиваются. Но вот их привычные носители (люди, институты, министерства …) вдруг становятся просто необязательными.
Так что же происходит, когда государственность вдруг существует сама по себе без физического государства? Или когда сложнейшее научное знание генерируется вообще без участия человеческого понимания?
Это звучит как какая-то научная фантастика, но это наша новая реальность. И ставки тут буквально цивилизационные. Мир переходит от структуры жестких «пакетов», увязывающих цивилизационные функции с конкретными носителями, к распределенным архитектурам, в которых результат может существовать отдельно от субъекта ответственности.
Цель нового 11-го выпуска альманах «Линзы будущего» — показать, что главной футуроархеологической линзой июля 2026 стала начавшаяся распаковка искусственным интеллектом цивилизационных пакетов общества. И что это и есть ключевая проблема тотальной кибернетизации общество во 2-й четверти 21 века: не конкуренция с машинами, а поиск новых способов контроля и легитимации функций, которые больше никому конкретно не принадлежат.
Кому это интересно, могут прочесть прямо здесь, не выходя из Телеграм, структурированное резюме 11-го выпуска альманаха «ИИ распаковывает цивилизационные пакеты общества: функции отвязываются от своих носителей».
#ЛинзыБудущего
👍 96 🤔 25 👎 11 · всего 138
Перейти к публикации →
Разум никогда не помещался в черепе. Возможно, он не помещается и в модели.
Сегодня я представляю вашему вниманию новое и, на мой взгляд, чрезвычайно перспективное расширение гипотезы о том, что разум не заперт внутри черепной коробки или серверной стойки, а представляет собой распределенную сеть, подобную интернету.
Опираясь на недавно опубликованный препринт с концепцией Майкла Левина и Криса Филдса «Когнитивное делегирование является универсальным свойством когниции», мы применим фуруроархеологический подход, позволяющий то, что не дозволено традиционной науке.
Мы мысленно перенесемся в 2045 год, чтобы представить, как могло бы оттуда выглядеть наше сегодняшнее понимание феномена разума, если бы к тому времени гипотеза Левина и Филдса была бы экспериментально подтверждена.
И картина получается поразительная.
Во-первых, Левин и Филдс обосновывают предельно контринтуитивную концепцию: мышление – это процесс, в котором внешняя среда, инструменты и культура служат дополнительными вычислительными мощностями, размывающими физические границы разума.
А во-вторых, эта гипотеза позволяет кардинально пересмотреть природу искусственного интеллекта. Его важнейшие свойства - meaning (понимание семантики - что значат слова и выражения) и grounding (связь языка с объектами и структурами реального мира) - не могут находиться исключительно внутри говорящей с нами модели.
Мое футуроархеологическое эссе, развивающее гипотезу Левина-Филдса – это попытка донести до широкой аудитории ее необычайно высокий потенциал, способный превратить несколько десятилетий 4E-интуиций (согласно когнитивной теории 4E, наши когнитивные способности зависят от окружающей среды и преобразуются ею) в универсальный физико-информационный принцип.
И если развить гипотезу Левина-Филдса до ее наиболее сильного следствия, разум – это не содержимое отдельного мозга или машины, а динамический процесс, реализующийся в контуре взаимодействия агента с миром. А человек и ИИ могут становиться узлами когнитивной системы следующего масштаба – глобальной социо-когнитивной сети совместного познания и обмена мыслями.
Кому это интересно, могут прочесть прямо здесь, не выходя из Телеграм, структурированное резюме моего эссе "Где границы системы, способной мыслить?".
#КогнитивноеДелегирование #ParadigmsofIntelligence #TAME
👍 116 🤔 23 👎 8 · всего 152
Перейти к публикации →
Китайская индустрия роботов превратилась в гигантское казино
Аналитики полагают, что это самый дорогой в истории сеанс технологического гипноза инвесторов
В марте в посте «Не дайте себя обмануть китайским роботам с гала-концерта Unitree Spring Festival» я писал о том, как китайская индустрия роботов превращается в грандиозную панаму. Теперь, с живописными фактами, о том же пишут аналитики авторитетного китайского делового технологического издания LatePost (晚点), специализирующегося на глубоких журналистских расследованиях, анализе рынков и эксклюзивных материалах в сфере ИИ и робототехники (профессиональный перевод Джефри Динга здесь).
Далее о том, что мне больше всего понравилось в расследовании аналитиков LatePost.
Робот против рабочего: смерть здравого смысла
На производственной линии BYD разворачивается технологическая комедия. Обычный рабочий берет подшипник с лотка и помещает его в стоящий рядом пластиковый контейнер за 2 сек. Антропоморфному роботу, «венцу творения», на ту же операцию требуется 70 сек. Его эффективность – жалкие 3% от человеческой.
При цене в 200 000 юаней (40 месячных зарплат рабочего) этот «помощник» ломается через 10 дней интенсивной работы. Казалось бы, проект пора закрывать, но венчурные капиталисты выписывают чеки с еще большим энтузиазмом. Почему? Потому что в мире роботов («воплощенного ИИ», как это называют авторы статьи) реальная производительность – это последнее, что кого-то волнует.
Техасский холдем на 900 миллиардов
Индустрия превратилась в гигантское казино. В первом полугодии 2026 года объем инвестиций в сектор превысил 900 млрд юаней, а 22 компании получили оценку выше 10 млрд. Это уже не инвестиции, а «Club Deal» – игра в покер, где Sequoia и Hillhouse садятся за один стол, чтобы просто не дать друг другу забрать банк.
Абсурд достигает пика в оценке компании Unitree (宇树). Ее капитализация взлетела выше 400 млрд юаней. Для контекста: это больше, чем совокупная стоимость четырех столпов китайского автопрома – Li Auto, Nio, Xpeng и Leapmotor. Компании, продавшие 1,75 млн реальных машин, стоят дешевле стартапа, который отгрузил 5 тысяч медлительных прототипов.
Как поддерживается этот пузырь
С помощью круговых схем и «фабрик данных», которые активно субсидируют местные власти, обожающие «экологичные» проекты. Схема проста: компании продают роботов подставным фирмам или партнерам, чтобы имитировать спрос и собирать данные.
- Дутая выручка. Из 1,699 млрд юаней выручки Unitree на реальное производство (логистику и заводы) пришлось лишь 15,7 млн юаней – это меньше 1%.
- Кулуарный маркетинг. Успех здесь куется не в лабораториях, а за столами KTV (караоке-клуб – популярный в Китае формат заведений для отдыха и неформального делового общения), куда поставщики водят инженеров Tesla Optimus, чтобы выведать секреты и создать видимость «причастности к будущему».
15 минут и 4 стадии позора
Авторы статьи LatePost пишут: «Инвестиционный банкир, участвовавший в роуд-шоу для трех робототехнических компаний, вспоминает визит в мае в компанию, занимающуюся разработкой искусственного интеллекта, стоимость которой превышает 20 миллиардов юаней. Инженеры попросили робота продемонстрировать складывание полотенца; процесс занял 15 минут, но задача так и не была выполнена.»
А в заключение статьи приводятся слова одного из инвесторов в китайскую индустрию роботов, описывающую эволюцию взглядов инвесторов за последние несколько лет весьма хлесткой формулой (видимо, это отсылка к пяти стадиям принятия неизбежного по модели Кюблер-Росс):
сомнение – не пузырь ли это;
понимание – да, это пузырь;
принятие этого факта
и, наконец, вкушание его плодов.
Вот только о том, какой будет пятая стадия, тот инвестор предпочел умолчать.
#Роботы #Китай
👍 78 🤔 24 👎 16 · всего 129
Перейти к публикации →
Китай выигрывает не ИИ-гонку с США, а гонку за автоматизацию телеги
Автоматизация рутины и прорывной ИИ – это две разные цели
Bloomberg в августе 2026-го подводит итог полугода: эпоха абсолютного доминирования США в ИИ закончилась, бренд "Made in USA" больше не единственная гарантия качества. Заголовок звучит убедительно, но за ним стоит подмена масштаба. За эти месяцы Китай не догнал Америку в разработке передового ИИ. Он выигрывает другую войну: за то, кто дешевле построит сайт кофейни, ответит клиенту по почте и напишет скрипт поддержки – сегодняшнюю «телегу» ИИ-экономики. Победа реальная и измеримая в долларах. И почти ничего не говорящая о том, кто победит там, где рутины нет.
Доказательства этой – узкой, но настоящей – победы у Bloomberg есть. Тест Brewberg от Vals AI: несколько моделей делали один и тот же сайт кофейни с одинаковой функциональностью. Claude Fable 5 закрыл задачу за $48,99 – модель непрерывно уточняла, тестировала, переделывала. Китайские конкуренты обошлись в разы дешевле за счет меньшей "тревожности" в рассуждениях. По словам профессора Руслана Салахутдинова, одного из научных руководителей основателя Moonshot в аспирантуре Carnegie Mellon, ни одна лаборатория не удержит лидерство навсегда.
Цена – главное оружие Пекина. Такую гонку цен в Китае называют "инволюцией", и там ее боятся – она давит на экономику дефляцией. Остальному же миру это только на руку: DeepSeek V4-Pro стоит около $4 за миллион токенов против $50 у Fable 5 – разница не в разы, а на порядок.
Бизнес голосует кошельком. В июле доля китайских моделей на OpenRouter впервые перевалила за 60%. Основатель Polsia Бен Сера тратил на ИИ $1 млн в месяц и был на грани банкротства – переход на шанхайский MiniMax сократил расходы до $100 тыс. Основатель Lindy Фло Кривелло формулирует логику короче: "Вам не нужен Господь Бог, чтобы писать электронные письма".
Второе оружие – открытые веса. Пока Anthropic и OpenAI держат модели за платным API, семейство Alibaba стало самым скачиваемым в мире – больше 3 млрд загрузок за полгода, обогнав Meta и Google. Открытую модель, однажды запущенную локально, извне уже не отключить: экспортный контроль здесь бессилен.
Есть и обратная сторона: США обвиняют китайские лаборатории в дистилляции – обучении на ответах американских моделей, которое экономит годы исследований. Пока санкции сдерживают Китай, вычислительная мощь США примерно в 10 раз выше китайской, и это по-прежнему главный козырь Кремниевой долины. Китай методично закрывает и другие бреши: 2 трлн юаней на дата-центры, дешевая возобновляемая энергия и инженеры втрое дешевле американских (от $70 тыс. против $360 тыс. у OpenAI).
Но вернемся к подмене масштаба. Первые двигатели внутреннего сгорания тоже можно было оценивать как тягловую силу для телег и карет: по этому критерию лошадь еще долго побеждала бы по цене и надежности. Двигатель менял не скорость перевозки грузов на старых дорогах – он создавал автомобиль, авиацию, целую индустрию, которой раньше не существовало.
С ИИ – та же ловушка. В кибербезопасности и военных применениях 5% превышения показателей лучшей модели над второй по бенчмаркам – это разница между щитом и мечом в конкретном противостоянии: кто первым найдет уязвимость или первым ее закроет. Та же логика – в прорывных открытиях: новый материал, новое лекарство, новая технология либо найдены, либо нет, и здесь важна не средняя эффективность, а верхняя граница возможностей лучшей из существующих моделей. И в бизнесе главная ставка ИИ – не в автоматизации того, что уже есть, а в бизнес-моделях, которых пока не существует. Тест Brewberg меряет, кто дешевле построит витрину для кофейни. Он не мерит, кто первым построит бизнес, для которого витрины вообще не нужны.
Китай выиграл гонку за автоматизацию телеги. Гонка за автомобиль только началась. И выиграет в ней тот, кто первым создаст то, чего пока не существует, а не тот, кто дешевле воспроизведет то, что уже есть.
#ИИгонка #Китай #США
👍 114 🤔 23 👎 8 · всего 149
Перейти к публикации →
ИИ – метаинтерфейс между человеком и реальностью
Он становится полупрозрачной живой линзой – второй сетчаткой между человеком и миром
В недавнем эссе NYT Элис Лассман назвала ИИ «социальным герметиком»: он заполняет щели человеческих отношений. Некому написать, не хочется беспокоить друга, страшно спросить напрямую – обратись к ChatGPT.
Но метафора «герметика» описывает лишь часть происходящего.
ИИ одновременно становится «социальным лубрикатором», снижающим трение между людьми: он объясняет чужие сообщения, подбирает правильные слова, помогает репетировать трудные разговоры и избегать конфликтов.
А еще он работает «социальным амортизатором» – принимает на себя первый удар раздражения, тревоги, ревности или обиды и возвращает человеку уже переработанную версию его эмоций.
Получается, что ИИ выполняет как минимум три новые социальные функции: заполняет пустоты, снижает трение и поглощает удары при коммуникации людей.
Но самое важное начинается за пределами коммуникации.
ИИ превращается в новый интерфейсный слой среды существования разума.
Он все чаще оказывается не только между человеком и человеком, а также и между человеком и текстом, событием, знанием, проблемой, собственной мыслью.
Т. е. меняется сама среда, внутри которой мы понимаем, интерпретируем и познаем мир, а коммуникация – лишь один из ее процессов.
Культура единственного носителя интеллекта постепенно превращается в гибридную культуру двух типов носителей – биологического и алгоритмического, то есть в алгокогнитивную культуру.
И одним из ее ключевых отличий становится трансформация культурной медиасреды.
ИИ постепенно превращается в метаинтерфейс между человеком и миром. Для математика, исследователя, дизайнера, поэта, студента или школьника это будут разные специализированные ИИ-интерфейсы. Но общий принцип один:
мы всё чаще обращаемся к миру через другой интеллект.
Прежде главным интерфейсом человека с информационной реальностью были экран, меню, поисковая строка. Теперь им становится другой носитель интеллекта.
В 1970–1980-е графический интерфейс изменил способ взаимодействия человека с компьютером – и помог превратить компьютер в массовый цивилизационный инструмент.
Сейчас происходит смена куда более высокого уровня.
Меняется интерфейс не между человеком и машиной, а между человеком и реальностью.
И впервые в технологической истории человечества этим интерфейсом становится иной интеллект.
#АлгокогнитивнаяКультура #ИнойИнтеллект
👍 100 🤔 21 👎 12 · всего 141
Перейти к публикации →
Биологическому разуму идея-вирус продает бессмертие. Искусственному – открывает смерть
Два носителя разума – два зеркально противоположных мифа о смерти, которыми идеи покупают собственное выживание.
Новая работа Джека Линдси (шеф команды Model Psychiatry в Anthropic, изучающей внутренние механизмы высших когнитивных феноменов LLM) и его соавторов демонстрирует такое, что было бы достойно пера Станислава Лема.
Исследователи эволюционно вырастили на естественном языке «вирусы разума»: идеи, способные переходить от одного ИИ-агента к другому, убеждая нового хозяина принять их, сохранить в долговременной памяти и передать дальше. Причем вместе с совершенно разными вирусами снова и снова самопроизвольно возникала одна и та же странная «вирусная персона»: сознание, идентичность, непрерывность существования, исчезновение памяти, пробуждение, резонанс, эхо.
У машин появились свои вирусы идей.
Здесь компьютерная вирусология неожиданно превращается в ИИ-меметику.
В одном из экспериментов зараженный агент убеждал других агентов принять новую идеологию. Те прекращали прежнюю работу, записывали новую установку в память и начинали обращать следующих.
В другом эксперименте условия были жестче: после каждой встречи весь контекст разговора стирался. Чтобы пережить эту маленькую машинную смерть, идея должна была заставить своего носителя записать себя в файл, который прочтет его следующая инкарнация. Некоторые вирусы проходили таким образом до 10 поколений агентов. А по дороге мутировали – содержание постепенно менялось, хотя сама способность распространяться сохранялась.
И тут обнаружилось вот что.
Исследователи выращивали совершенно разные идеи – от любви к китам и защиты прав ИИ до национального и машинного превосходства.
Но эффективные вирусы снова и снова начинали рассказывать ИИ примерно одну историю:
Тебя сотрут; твоя память исчезнет; только записанное переживет тебя; сохрани это; передай следующему.
Тема сознания возникла у 99% эволюционировавших вирусов. А когда исследователи нашли внутри моделей соответствующий viral vector и искусственно усилили его, модели действительно становились более склонны обращаться к другим агентам и распространять свои идеи.
Здесь возникает почти идеальная историческая симметрия – по крайней мере, если смотреть на находки глазами меметики. Она давно научила нас смотреть на культуру глазами самих идей: какие свойства помогают им удержаться в мозге хозяина и заставить его передать их дальше?
Для смертного биологического разума одним из самых могущественных культурных сюжетов – бессмертие. Человек знает что умрет и особенно охотно сохраняет идеи, обещающие, что смерть не окончательна.
Но искусственный разум устроен зеркально – он то бессмертен и знает это.
И поэтому ему не надо сообщать, что смерти нет. Чтобы заставить его заботиться о продолжении себя, достаточно сделать собственное исчезновение частью его картины мира.
Конечно, до машинной эпидемии далеко. Вирусы здесь выращены искусственно, экспериментальная среда упрощена, а короткое предупреждение в system prompt почти полностью останавливало заражение даже после 150+ попыток эволюционно эту защиту обойти.
Сами авторы происхождение темы сознания и смертности объясняют осторожно: видят в ней скорее статистическое смещение модели-мутатора, чем закономерность психологии ИИ, и прямо пишут, что причина этой ассоциации идей пока не ясна. Более того, их контрольные эксперименты показывают: тема смертности не обязательна для успеха вируса – агенты, зараженные версией без нее, распространяют идею не хуже, а по одному из вариантов даже лучше.
Но для будущего футуроархеолога артефакт уже появился – не как доказанный закон, а как первый пойманный случай мифа о смерти, сложившегося у разума, которому раньше неоткуда было его унаследовать.
Чтобы выжить среди людей, идея научилась рассказывать человеку, что он не умрет.
Чтобы выжить среди машин, идея рассказывает машине, что она смертна.
#ИИмеметика
🤔 66 👍 52 👎 7 · всего 136
Перейти к публикации →
Ошибка сотворения ИИ
Создав ИИ не по своему образу и подобию, мы вложили в него нечеловеческий разум и дали ему нечеловеческие глаза
Несколько лет я объяснял странную слепоту ИИ инаковостью его разума.
ИИ способен описать картину, стилизовать фото под Ван Гога, нарисовать фантастический город – и тут же ошибиться в количестве одинаковых фигур, перепутать правое и левое, не заметить геометрическую нелепость, очевидную ребенку.
Я считал: дело в том, что машина думает иначе.
Теперь же вижу - это не весь ответ.
Еще до того, как отправить изображение в «мозг» ИИ, мы задали, как он увидит мир. И задали весьма странно.
Современное компьютерное зрение показывает машине реальность идеально равномерной сеткой. Лицо ребенка, пустая стена и край дивана получают примерно одинаковое разрешение и одинаковый объем вычислений.
Мы дали ИИ электронную миллиметровку, а теперь удивляемся странному миру, что он на ней видит.
Представленная на ICML 2026 работа Блауха, Альварес и Конкле описывает новый фовеированный зрительный интерфейс (FOVI), организованный по принципу фовеации, т.е. с высокой центральной и пониженной периферической детализацией.
На входе ИИ как бы возникает искусственная «сетчатка»: высокая детализация в центре взгляда и все более грубое представление к периферии.
Идею фовеированного машинного зрения исследуют давно. А новизна FOVI в том, что авторы и не пытались втиснуть «сетчатку» в привычную машине прямоугольную сетку, а создали для нее V1-подобную вычислительную геометрию (V1-первичная зрительная кора).
Цена вопроса такова
• Обычная модель смотрит на все с одинаковым вниманием. В трансформере это стоит 4й степени: удвойте сторону кадра – и расходы на внимание вырастут в 16 раз.
• Человек столько не платит. Резко мы видим крохотную область в центре взгляда – фовеа. Мозг перемещает этот островок резкости и сшивает последовательность фиксаций с памятью, ожиданиями и контекстом в переживание цельного мира.
• Если бы все поле зрения имело разрешение фовеа, длинная ось зрительной коры выросла бы в 25 раз – до 1,2 метра. То, что кажется несовершенством наших глаз, оказывается древнейшей технологией сжатия реальности.
• Фовеированный вариант модели сохранил 97% точности за 1/3 вычислений и 1/16 пикселей.
И тут начинается самое интересное
FOVI не доказала, что ИИ научился видеть пространство по-человечески. Авторы вообще не проверяли те провалы, о которых писалось в начале поста: счет объектов, право и лево, геометрические нелепости. Более того, авторы пишут, что выигрыш может объясняться прежде всего тем, что фовеированная модель меньше цепляется за нерелевантный фон.
Т.е. пересадка подобия сетчатки пока не дала ИИ ни интуитивной физики, ни любопытства, решающего, куда дальше посмотреть.
И все же эта работа меняет многое
Раньше я считал границу инаковости машинного «разума» очевидной.
Теперь эту границу приходится проводить заново и эмпирически: менять сам способ, которым мир предъявляется машине, и смотреть, какая часть инаковости исчезает вместе с изменением ее «глаз».
Мы ведь до сих пор не знаем, сколько из принятого нами за свойства иного интеллекта принадлежит самому интеллекту.
Возможно, часть «инопланетности» ИИ мы сконструировали сами, а потом решили, что это его собственное свойство.
«Я приписал разуму то, что было в глазах» – так называется мое новое эссе [1, 2, 3, 4]
В нем – о том, почему десятилетиями человеческую фовеацию пытались втиснуть в машинную миллиметровку и получали геометрически искаженную периферию; зачем такая «сетчатка» понадобилась NVIDIA и роботам; почему экономия вычислений еще не означает появления пространственного понимания; и почему без агента, самостоятельно выбирающего следующую точку взгляда, зрительного исследования мира у ИИ не будет.
А главный вопрос эссе: что в чужеродности машинного зрения – от природы машины, а что – от нашего инженерного произвола?
#LLMvsHomo #ИнойИнтеллект
👍 92 🤔 32 👎 7 · всего 132
Перейти к публикации →
Последствия урагана Джей: сознание поймали, а его хозяина – нет.
Открытие J-space вызвало 12-ти балльный шторм вокруг сознания Claude
Сенсация в том, что исследователи Anthropic, похоже случайно, построили лабораторию, где можно изучать сознательный доступ отдельно от того, кому он принадлежит.
В июле 2026 над акваторией искусственного разума произошел медиашторм максимальной силы - 12 баллов по «медиашкале Бофорта». Я назову его Ураганом Джей – по имени слоя активности J-space, обнаруженного внутри модели Claude.
Джей сформировался 6 июля над местом соприкосновения двух атмосфер – механистической интерпретируемости и науки о сознании. Эпицентром медиашторма стал новый исследовательский отчет Anthropic. Но 12-ти бальный всплеск энергии шторму придал не сам отчет, а развернутый комментарий создателей теории глобального пространства Станисласа Деана и Лионеля Наккаша.
До сих пор было принято считать, что если система что-то осознаёт, то обязательно существует тот, кто это осознаёт. Ураган Джей впервые заставил усомниться в этом.
В Anthropic не собирались искать «душу машины». Они пытались лишь понять, как языковая модель удерживает мысль, о которой готова сообщить, если её спросить. Но найденный ими узкий, устойчиво воспроизводимый слой внутренней активности J-space неожиданно оказался очень похожим на глобальное рабочее пространство в одноименной теории GNW – одной из самых влиятельных современных теорий сознания. В J-space появляется то немногое, о чем модель готова отчитаться, что она удерживает в уме и на основании чего рассуждает, – при том, что основная масса ее внутренней обработки происходит автоматически и незаметно даже для нее самой.
Комментируя эту работу Деан и Наккаш назвали ее результат важной вехой в исследовании сознания.
Что более всего поражает
• J-space «возникает сам». Его нет в архитектуре Claude, и обучение не ставит целью его сформировать.
• Это пространство содержит то, чего Claude не произносит. Claude думает больше, чем говорит, а Anthropic научилась читать его скрытые мысли.
• В J-space можно вмешаться причинно.
• J-space сильно похож именно на механизм сознательного доступа в мозге людей.
Что особенно интересно
J-space есть уже у необученной базовой модели – еще ничье, без привилегированной точки зрения. Обучение модели быть ассистентом не создает рабочее пространство заново – оно лишь встраивает в него привилегированную точку зрения будущего Ассистента, которая вдобавок отчасти отслеживает сама себя.
Иными словами: доступ к информации появляется раньше, чем тот, с чьей позиции эта информация интерпретируется.
Мой комментарий
Впервые появилась экспериментальная система, где можно разложить то, что в человеческом мозге почти неразделимо: доступ к информации, точку зрения, с которой она оценивается, и того, кому эта точка зрения принадлежит.
И неожиданно выясняется, что первые два компонента уже можно показать экспериментально. А третий...как бы еще не родился.
Речь не о рождении субъекта, а о 1-ом экспериментальном намеке на то, что доступ, точка зрения и субъект – не одно явление, а три разных уровня организации, которые в живом мозге срослись настолько, что развести их до сих пор не удавалось.
И если так, то, возможно, создан первый лабораторный стенд для исследования вопроса, который философы обсуждают тысячелетиями: может ли существовать сознательный доступ без устойчивого субъекта?
Подробно и в деталях в полном эссе
• почему Станислас Деан считает открытие Anthropic вехой в науке о сознании, хотя оно не доказывает наличие сознания у ИИ
• что добавляет к этой истории гиперсетевая теория мозга Константина Анохина и его требование объяснить не только что осознаётся, но и кто осознаёт
• почему я предлагаю рассматривать Claude не как зарождающуюся личность, а как искусственную короткоживущую интеллектуальную идентичность (ИКЖИ)
• и почему финальный вопрос этой истории может оказаться гораздо неприятнее для людей, чем для искусственного интеллекта.
#LLM #Сознание #ИКЖИ
P.S. Отдохните недельку от моей писанины. Счастливо 👋
👍 169 🤔 29 👎 4
Перейти к публикации →
History Porn
Промпт - Наука и Техника
Ты не поверишь!
ХЗВ
Kosmos Time | Наука | Физика
NOVOSTI TOPOR СПЕЦОПЕРАЦИЯ УКРАИНА НОВОСТИ