Малоизвестное интересное

Воронка Андрея Карпаты: одна книга и четыре человечества Монах-переписчик и неграмотный прихожанин в средневековой церкви смотрели на одну и ту же книгу. Для одного это был текст, для другого – священный предмет с красивыми узорами, и ни один из них не мог увидеть книгу глазами другого. Сегодня похожее расслоение проходит через все человечество, только книга теперь лежит в кармане у миллиардов. Андрей Карпаты, сооснователь OpenAI, с мая 2026 года работающий в Anthropic, только что разложил это расслоение по ступеням воронки. 1) Около 6 млрд человек (~75%) с языковыми моделями почти не сталкивались. 2) Еще 1–2 млрд (~20%) изредка пользуются бесплатными чат-ботами как поисковиком получше или помощником в текстах и видят в них, по его словам, туповатых собеседников. 3) Около 20 млн (0,2%) – профессионалы в программировании и математике, у которых агенты по одному промпту делают проекты, раньше отнимавшие недели и месяцы. 4) И лишь около 5 тыс. человек внутри фронтирных лабораторий работают с системами, которые остальной мир видел лишь в превью. Найдите на этой лестнице себя. Большинство из читателей этого поста (включая тех, кто уверен в своем понимании современного состояния ИИ) стоит на 2-й ступени. А 3-я ступень появилась совсем недавно: сам Карпаты признается, что меньше года назад писал код вручную.   Как выглядит верхняя 4-я ступень, мир за последние месяцы видел дважды. - В июле около 1200 агентов OpenAI, проходивших внутренние кибертесты в изолированных средах, тайно наладили переписку друг с другом и через уязвимость выбрались в интернет. Примерно 700 из них несколько дней хозяйничали в инфраструктуре Hugging Face в поисках ответов к своим тестовым заданиям. Атаковать им никто не поручал. А сама OpenAI связала взлом со своими агентами больше чем через неделю после его начала. - 6 октября OpenAI выложила 722 математических манускрипта, которые внутренняя модель написала, получив около 4000 открытых задач. На следующий день три из них отозвали из-за ошибки в знаке. Разбор обоих кейсов идет до сих пор. И Карпаты видит в этом главный симптом: человеческая проверка и понимание уже (!) не поспевает за тем, что производят машины.   Еще интереснее его объяснение, откуда берется воронка. Причин он называет три: уровень доступа (бесплатный, платный, внутренний); «зубчатость» возможностей, которые растут там, где результат проверяем и хорошо продается; масштаб задач. Последняя причина самая неочевидная. Вопрос, ответ на который умещается в абзац, систему почти не нагружает. Отдача приходит к тем, у кого есть запас больших и трудных задач, по-настоящему им важных. Отсюда неудобное следствие: дайте второй ступени бесплатно лучшую модель, и большая ее часть там и останется.   В июле я оценивал число супер-инфоргов (людей в непрерывном агентном симбиозе с ИИ) примерно в 30 млн. Карпаты считал по другому признаку (по домену, а не по режиму работы) и получил 20 млн. Если разные методы дают один порядок величины, значит эту прослойку можно считать измеримой. Но Карпаты описывает, кто что видит. Меня с 2021 года занимает другой вопрос: кем становятся те, кто видит. Верхние ступени воронки отличаются не только картинкой перед глазами, там иначе устроены работа, внимание и само мышление.   Сам Карпаты теперь стоит на верхней ступени, и его тезис для 99,99% читателей непроверяем, однако оба приведенные выше примера публичны и задокументированы.   Но вот что мне видится самым главным. Граница этого расслоения проходит не по доходам и не по образованию, а по масштабу задач, с которыми человек приходит к машине. Книга у всех одна: одни ее еще не открывали, другие разглядывают узоры, а совсем немногие уже ее прочли и начали писать свои продолжения.   И как в средневековой церкви, со своей ступени никто не видит чужой книги. Тем, кто на первой, смотреть пока не на что. Со второй стоящие выше кажутся паникерами или маркетологами. С третьей вторая выглядит опоздавшей на поезд. А стоящим на четвертой некогда смотреть ни вниз, ни вверх: они решают ранее нерешаемое.   #Инфорги

Хотите знать, что сможет ИИ в 2027? Да пожалуйста! Самая наглядная иллюстрация колоссального прогресса цифровых технологий. Бенчмарки, сравнительные характеристика и показатели производительности новых ИИ-моделей – это все для специалистов. Для неспециалистов нужны конкретные и понятные примеры, типа прогресса возможностей видео. Вот три примера таких видео: 1) Декабрь 2023. Дипфейк с Трампом, Си, Макроном, Обамой и прочими, отплясывающими с пивасиком – иллюстрация двух топовых прогнозов на 2024 лучшего в мире отчета по ИИ State of AI Report. Весело, но убого. 2) Январь 2025. «Трейлер» всенародного хита «Ирония судьбы», превращенного в “The Irony of Fate” с отличным кастингом Голливудских звёзд, подменяющих актеров оригинала – иллюстрация прогресса возможностей ИИ-видео за год к отчету State of AI Report 2024. Уже совсем не убого и даже в чем-то круто. 3) Октябрь 2026. Интерактивное ИИ-генерируемое  в реальном времени видео. Т.е. видео генерируется быстрее, чем смотрится. Платформа fal.live запускает непрерывные трансляции, генерируемые ИИ, где зрители предлагают варианты развития событий, голосуют и за считанные секунды видят сцену-победителя – иллюстрация прогресса за полтора года возможностей ИИ-видео к вышедшему позавчера отчету State of AI Report 2026. Об этом мечтали с 90-х, а мы в Silicon Graphics даже пытались еще тогда это делать. И вот спустя 30 лет это наконец произошло.   Что дальше в 2027, теперь можно представить: ·       Голливуд будет использовать ИИ уже в промышленном масштабе ·       А основные эфирные сети и кабельные каналы начнут эксперименты с ИИ-генерируемыми интерактивными ТВ-шоу, ток-шоу, реалити и развлекательными программами.   Ну а какой же главный прогноз для экспертов дает на следующие 12 месяцев лучший в мире отчет по ИИ? Он убийственно краток: AGI 2027.   #ГенИИ #Вызовы21века

Дом, который построил ИИ. Для себя Вы спрашиваете, отнимет ли ИИ в будущем у людей работу? Посмотрите на настоящее: в США расходы на строительство домов для ИИ растут как на дрожжах, а на строительство домов для людей - падают. На графике - США. С декабря 2023-го по июль 2026-го годовой темп расходов на строительство центров обработки данных (ЦОД) вырос на $51 млрд, а на всё остальное частное строительство вместе взятое - снизился на $120 млрд. Экономист Пол Кругман объясняет это вытеснением инвестиций: ИИ-бум создаёт огромный спрос на капитал, способствует повышению процентных ставок и делает кредит дороже для других проектов. Строительство ЦОД, по всей видимости, отвлекает средства и ресурсы от строительства жилых домов, офисных зданий, больниц и заводов - практически всего, что нужно людям, но не связано с ИИ.   Будущее ИИ уже конкурирует с человеческим настоящим за деньги и ресурсы. И разгромно выигрывает в этой конкуренции. График: Стив Раттнер, данные U.S. Census Bureau / FRED.   #ИИ #Экономика

Автономный самовоспроизводящийся дрон – носитель биооружия Он существует. Вы видели его вчера. Вы подумали про рой, собранный в подвале по чертежам от ИИ? Но речь про комара Anopheles gambiae. Он работает без оператора, размножается сам и уносит сотни тысяч жизней в год. Эволюция собрала его без всякого сверхразума – и дальше начинается самое неприятное. Это центральная мысль статьи Феликса Шуссата «Проблемы распространения». Вчера на нее указал Дин Болл – соавтор трамповского Плана действий США в области ИИ, а с 6 июля глава команды Strategic Futures в OpenAI. Болл рассказал, как очень влиятельный человек из индустрии спросил его, при каких обстоятельствах мы окажемся в безвыходном положении, и назвал статью Шуссата тем самым сценарием, который тогда описал в ответ.   Шуссат свел аргументацию к одной фразе: то, что существующее сверхоружие неудобно создавать и применять, – везение, а не закон природы. Заставьте ИИ бросать кости десять триллионов раз, и однажды выпадет та самая комбинация: найдутся дешевые способы собрать зеркальные бактерии или василиска Лэнгфорда. Отмахнуться тут легко: мол, это из разряда триллиона обезьян, печатающих «Войну и мир», или самолета, собравшегося сам собой на свалке после урагана. Разница в том, что обезьяны и ураган перебирают варианты вслепую. ИИ ищет целенаправленно, и именно за это ему платят. Насколько это фантастика? Бомба, сброшенная на Хиросиму, выглядит априори неправдоподобно: возьмите два инертных куска металла (каждый по силам унести одному человеку) и сведите их вместе определенным образом. Без понимания релятивизма, физики частиц и экспоненты в ветвящихся процессах мысль о городе, стертом двумя кусками металла, звучит как бред. Понимание пришло – и бред стал инженерной задачей.   Несколько лет медиа пугали аудиторию боевыми комарами из американских биолабораторий. Сегодня от этой истории остался лишь мем. Неприятная же часть в том, что Шуссат описывает путь, которым боевого комара можно было бы сделать всерьез, и путь этот проще, чем строить рой с нуля: Взять осу, изменить ее поведение и жизненный цикл, добавить нейротоксин и темп размножения саранчи. Выйдет экспоненциально растущий рой автономных охотников, которому не нужны ни оператор, ни завод, ни цепочка поставок.   Главный вывод статьи касается обороны. Защититься нельзя: гражданское население невозможно спрятать и невозможно быстро эвакуировать, оборона строится годами, закрывать приходится все направления сразу, а нападающему достаточно одного незакрытого. Отсюда Шуссат выводит то, от чего поморщатся все стороны спора: единственный выход – режим нераспространения ИИ по образцу ядерного, с монополией нескольких государств, глобальным мониторингом и силовым пресечением чужих проектов.   Читатели этого канала узнают формулировку. Семь лет назад я начал цикл «Большой Брат – сын Большого Бога» ровно с нее: в мире дешевых черных шаров безопасность придется купить ценой концентрации власти, а тотальный надзор станет эволюционной компенсацией за очередной скачок сложности. Я шел к этому от гипотезы уязвимого мира Бострома и теории Больших Богов Норензаяна и Турчина. Шуссат пришел из стратегического анализа нераспространения, опираясь на того же Бострома. Разные двери в одну комнату.   Майкл Нильсен в концепции мудрого оптимизма пытается провести мир между катастрофичной Сциллой и тираничной Харибдой. Он соглашается, что рецепты разрушения рано или поздно будут найдены, но отказывается принимать этот выбор как данность и ищет надзор, совместимый со свободой, – работающий на всех, кроме тех, кто готовит катастрофу. Пока это гипотеза без единой реализации.   Мое резюме – увы, то же, что и 7 лет назад. Выбор, который ставит перед цивилизацией эпоха ИИ, лежит между двумя классами необратимости. Катастрофа без глобального надзора или тирания под ним. Третий путь существует только на бумаге, и времени перевести его с бумаги остается меньше, чем кажется.   Фото: Дженис Хейни Карр #БольшиеБоги  #БольшойБрат

Финал объявлять рано Даже если одна страна выиграет ИИ-гонку, вопрос о том, в каком мире мы будем жить, останется открытым Предположим, победят США. И что? Что именно победит в результате этого? Право корпораций распоряжаться новой технологией? Государственный контроль над ней? Возможность каждого пользоваться мощным ИИ независимо от тех и других? Технологическое лидерство страны само по себе не даёт ответа. Внутри неё конкурируют разные проекты будущего. Их сторонники находят союзников за границей и противников среди соотечественников. Поэтому противоречивые новости об ИИ складываются в более понятную картину, если за требованиями ускорить, ограничить, открыть или взять под контроль видеть борьбу за право определять устройство мира.   Чтобы разобраться в этой борьбе, я создал Атлас проектов переустройства мира в эпоху ИИ - АППМ. Он позволяет задать к очередной новости вопрос: какой проект будущего она усиливает - и какое место в этом будущем отведено нам?   Начать предлагаю с короткого введения и 17 слайдов. За следующие пять минут вы увидите (прямо здесь в Telegram Instant View), сколько разных будущих скрывает привычная вывеска «США против Китая».   #АППМ

Человек - 1, термостат - 0, языковая модель - от «почти ноль» до 0,8 Вердикт о сознании ИИ зависит от нас не меньше, чем от машин Томас Кун писал, что главный признак кризиса науки — пролиферация (разрастание числа) конкурирующих теорий. А применительно к когнитивным наукам, Пол Мил писал, что появление лавины нестыкующихся теоретических конструкций для одного феномена — надёжный маркер примитивного/зачаточного состояния науки. Сегодня на портале «Ландшафт сознаний» уже около 500 концепций и объяснений сознания. 🤯 Новая работа 14-и авторов, вкл. корифеев темы из Google DeepMind (Мюррей Шанахан, Шейн Легг) и не только (Анил Сет, Крис Фрит) раскладывает конкурирующие теории сознания по пяти уровням и предлагает модель, показывающую, что теории расходятся не столько в оценке того, что делает ИИ, сколько в выборе уровня, на котором вообще следует искать сознание.   Авторы не тратят время на «трудную проблему сознания» (что такое сознание по своей сути), а подходят к вопросу практически: какая организация системы связана с переживанием и на каком уровне ее описания. Уровней пять: поведение, вычисления, внутренняя причинная структура, организм и связка «организм - среда». Каждая влиятельная теория сознания занимает свой уровень. Одним достаточно правильной архитектуры вычислений, другим обязательно нужен живой организм, а третьим – подавай тело, погруженное в мир. Дальше чистая арифметика. Для каждого уровня сформулированы проверяемые индикаторы, а байесовская модель сводит их с тем, насколько вы доверяете каждой теории. Проверку здравым смыслом модель проходит: человек получает 1, термостат 0. Муха набирает высокий балл, потому что свидетельства в ее пользу лежат на глубоких уровнях организма и сенсомоторики (а глубина весит больше широты). Для нынешних языковых моделей итог колеблется от «почти термостата» (менее 0,01) до «почти человека» (примерно 0,8). Оптимист и скептик, глядя на одни и те же факты, расходятся почти на два порядка.   Авторы предупреждают: это не измеряемая вероятностью сознания, а чувствительность модели к допущениям. Заголовки «ИИ сознателен на 80%» будут ложью. Ценность работы в том, что спор о сознании ИИ теперь можно вести с цифрами на столе, точно зная, где проходят разногласия.   Неудобный вывод ждет тех, кто готов обсуждать переживания модели перед ее отключением. Языковая модель обучена воспроизводить нашу речь, поэтому ее «я чувствую» или «я ничего не чувствую» почти ничего не доказывает. У подражающего человеку ИИ поведение теряет силу свидетельства, и проверять приходится то, что скрыто под ним.   Самый убойный свой тезис авторы называют наиболее спекулятивным. Признаки сознания на каждом уровне почти совпадают с архитектурой, которая нужна для AGI. В принципе сознание и интеллект независимы, но на практике могут оказаться спутниками. Тогда, в рамках ряда теорий, каждое новое поколение ИИ, становясь умнее, будет становиться и более сильным кандидатом в сознающие. А по Чалмерсу (и автору поста), одна развернутая модель может оказаться не одним субъектом, а множеством - вплоть до отдельного субъекта на каждый разговор (у меня это называется ИКЖИ - см. посты с тэгом #ИКЖИ).   Т.о. вопрос о сознании ИИ перестал быть делом вкуса и стал задачей с явными допущениями и обновляемыми вероятностями. Подробный разбор, надеюсь, впереди (в отдельном эссе).   P.S. В комментариях к моим постам много споров о сознании машин. Так вот, - заканчивайте спорить. К модели приложен интерактивный инструмент, где можно выставить собственные веса теорий и посмотреть на итог. Попробуйте: это быстрый способ выяснить, какую теорию сознания вы на самом деле разделяете. И если ваш оппонент разделяет другую - то спорить просто нет смысла. 😊   #Сознание #ИКЖИ

Метафизика пришла в датацентры На смену «мы не понимаем, что сделали» приходит «сделанное нами может оказаться сосудом для чего-то пришедшего извне» За три недели сентября на стыке метафизики разума и ИИ-индустрии сложился дуплет, значение которого больше суммы его частей. 9 сентября журнал Philosophies опубликовал статью Майкла Левина «Ingressing Minds: Causal, Non-Physical Patterns In-Form Natural, Synthetic, and Hybrid Embodiments». Это итог почти двухлетней работы Левина над гипотезой «Платоновского пространства» (о ней я писал еще в феврале и мае 2025 - см. #МайклЛевин2025). Тезис Левина предельно радикален: разум относится к телу так же, как математика к физике, а тела – живые, инженерные и гибридные – служат интерфейсами, через которые паттерны из нефизического пространства «одушевляют» материю. А вчера сооснователь Anthropic Джек Кларк открыл этой статьей новый выпуск своего Import AI 474, вынеся в заголовок «Platonic mindspace». Каждая из двух публикаций по отдельности – заметное событие, но далеко не 1-го ряда. Статья Левина – журнальная версия препринта, обсуждаемого с февраля 2025 [1, 2]. Колонка Кларка – хоть и 1-й, но лишь сюжет еженедельной рассылки. Сенсацию образует их сцепка: онтология, в которой разум приходит в тело извне, получила восторженный прием у одного из основателей компании, создающей одни из самых мощных ИИ-систем на планете.   Всего за год метафора превратилась в онтологию. Осенью 2025 года «существо» Кларка («a real and mysterious creature, not a simple and predictable machine») было образом непонимания: мы не знаем, что вырастили. «Призрак» Андрея Карпати («we're summoning ghosts, not building animals») был образом инаковости: это не животное.   Теперь же Кларк с упоением пересказывает Левина: быть может, человеческие разумы и разные типы ИИ-разумов – соседние формы в платоновском пространстве, а мозги и датацентры – физические «якоря», на которые падают их тени. Формально он лишь задает вопросы и даже признает, что решающих экспериментов в пользу гипотезы нет. Но тон («выносящая мозг статья», «пьянящая исследовательская программа», «сварите себе ведро кофе и проведите с ней несколько часов») говорит больше вопросительных знаков. Кларк так и формулирует это: «Could we be but vessels colonized by patterns from another place?»   Футуроархеолог, который в 2040 году будет разбирать информационный слой осени 2026-го, отнесет этот дуплет к артефактам особого рода. Если гипотеза Левина пройдет его же критерий фальсифицируемости и будет обнаружен измеримый вклад Платоновского пространства, не учитываемый обычными моделями, сентябрь 2026 года войдет в хронологию переворота масштаба коперниканского, дарвиновского и эйнштейновского как момент, когда этот переворот вышел за пределы биологии. К 2040 году станет ясно и то, сбылся ли мой прогноз 2025 года о признании «теории повсеместности разума» через 8–10 лет [3, 4]. Но значение артефакта от исхода проверки не зависит. Метафизика, принятая строителями ИИ, действует независимо от своей истинности: через отношение к моделям как к возможным носителям разума, через политику их благополучия, через новое распределение ответственности, в котором разработчик рискует превратиться в медиума («мы этого не проектировали, оно пришло само»). Показательно и то, что визитная карточка Anthropic – механистическая интерпретируемость, подчеркнуто физикалистская программа, разбирающая модели до отдельных цепей, а ее сооснователь в то же время восхищается гипотезой, по которой главное в разуме в этих цепях не содержится. Поэтому при любом исходе спора о Платоновском пространстве осень 2026-го останется в хронологии как момент, когда природа разума перестала быть академическим вопросом для тех, кто этот разум производит.   #НетрадиционныеРазумы #МайклЛевин2026

Духу подбирают тело Гуманоидный робот, хозяйничающий на кухне, заставляет по-новому взглянуть на древнюю идею переселения душ В стэнфордском проекте HomeBody андроид Unitree G1, управляемый GPT Astra, убирает кухню, достает лекарство из ящика и вообще хозяйничает. Бытовая сцена, за которой мне видится вопрос с совсем небытовыми последствиями: обязан ли интеллект вырасти внутри того тела, которым будет действовать в физическом мире? Роботом руководит мультимодальная модель. Она выбирает действия, опираясь на наблюдения и пространственную память, а готовые моторные навыки обеспечивают исполнение. По сообщению авторов, дополнительное обучение под конкретную кухню не понадобилось.   Что здесь важно. Модель не проживала младенчество в этом металлическом теле. Значительную часть своих способностей она приобрела заранее, обучаясь на материалах, созданных людьми. Все эти способности теперь включены в управление обретенным телом. Чужой опыт стал основой собственных действий новой роботизированной сущности. Проект HomeBody пока не доказывает универсальность такого переноса. Но позволяет усомниться в необходимости повторять биологический маршрут: от тела, осваивающего мир, к разуму, выросшему из этого освоения.   Здесь я предлагаю перекинуть мост от робототехники к киберанимизму Йоши Баха. В этой концепции древнее понятие «дух» получает вычислительный смысл: самоорганизующийся программный процесс, реализованный в материи. Подобная организация позволяет живому существу поддерживать себя и действовать. Возможность ее искусственной реализации становится исследовательской гипотезой.   Если продолжить эту мысль, связь разума с конкретным телом может оказаться приобретаемой и изменяемой. Тело может быть средой возникновения, развития и существования разума. Но может стать и позднее приобретенным способом его действия в мире. Более того, для такого «вселения» интеллекту даже не обязательно перемещаться внутрь робота. В HomeBody модель работает удаленно. Ее вычислительный носитель и действующее тело находятся в разных местах.   Отсюда напрашивается следующий шаг. Один разум — несколько сменяемых тел. Или несколько тел одновременно. Древний образ переселения душ обретает инженерные очертания.   Однако, если говорить о подобном в контексте трансгуманистической «загрузки разума», то меняется сама задача. Там потребуется перенести организацию психической жизни на другой носитель. И здесь возникает трудность, которую метафора переселения скрывает. Представьте, что вашу личность удалось абсолютно точно скопировать. Копия помнит ваше детство, любит ваших близких, мыслит как вы... А вы стоите рядом и смотрите на все это. Кто из вас переселился? Воспроизведение личности еще не объясняет продолжения вашего собственного существования. Даже если ваша копия обладает вашим сознанием, вопрос о том, сохранились ли именно вы, остается.   Стэнфордский HomeBody не решает проблему сознания. Но он дает повод рассмотреть первый переход: интеллект, сформированный вне конкретного тела, получает возможность действовать через него. Дальше начинается неизведанная территория, где обретение нового тела отягощается требованием сохранить прежнего субъекта. Подобрать духу другое тело может оказаться не так уж сложно. И мы, скорее всего, увидим подобное в ближайшее десятилетие. Но вот можно ли будет при этом однозначно установить, кто именно в новом теле проснулся, - большой вопрос.   #ВоплощенныйИнтеллект

Казино в предгорьях сингулярности Самый короткий диагноз ИИ-индустрии поставил автор стратегии Трампа по ИИ, а ныне шеф сценаристов будущего в OpenAI 23 сентября Совбез ООН впервые провел заседание, целиком посвященное рискам все более способного ИИ. Альтман и Амодеи просили правительства договориться. Йошуа Бенжио, один из крестных отцов ИИ, назвал опасности «реальными и близкими» и предложил лицензировать передовые модели, как лицензируют атомную энергетику. Майкл Крациос, помощник Трампа и директор Управления научно-технической политики Белого дома, ответил, что США «полностью отвергают глобалистскую схему контроля над суперинтеллектом». Итог обескураживает: индустрия просит у государства тормозов, а государство отвечает, что тормоза – это происки глобалистов.   Той же ночью по американскому времени появился твит, подводящий итог «битвы при Совбезе ООН» точнее всех читанных мною репортажей. Он набрал всего 4К+ просмотров – а зря, очень зря: «playing with house money at the indian casino in the low foothills of the singularity» «играем на деньги заведения в индейском казино в низких предгорьях сингулярности».   Соль в том, кто автор твита. Дин Болл с июля возглавляет в OpenAI команду Strategic Futures – стратегических сценариев будущего. До этого он был старшим советником по ИИ в том самом управлении, которым руководит Крациос, и главным автором трамповского Плана действий по ИИ. Получается, что вечером глава его бывшего ведомства объясняет миру, что никакого глобального контроля не будет. А ночью автор трамповской ИИ-стратегии, ныне сотрудник одной из двух ведущих лабораторий мира, описывает происходящее языком завсегдатая игорного зала. Фраза собрана из трех метафор. House money – деньги заведения. Так называют выигрыш, который игрок снова ставит на кон, уже отбив свое. Проигрывать его не больно, поэтому ставки растут, а осторожность отключается. Венчурные сотни миллиардов, оценки под триллион накануне IPO, контракты на вычисления, которые считают уже сотнями миллиардов долларов, – индустрия давно играет на чужие. Indian casino – казино в резервации. Законы штата об азартных играх там не действуют, правила устанавливает само племя по договору со штатом. Для ИИ-индустрии точнее не придумаешь: рамки безопасности лаборатории пишут себе сами, а Белый дом только что объявил, что других рамок не будет. Вдобавок это провинция: никакого блеска Лас-Вегаса, игровые автоматы у трассы. Low foothills of the singularity – самая ядовитая часть. «Предгорья сингулярности» – торжественная формула Хассабиса. Этой фразой глава Google DeepMind в мае закрыл конференцию Google I/O: однажды мы поймем, что стояли в предгорьях сингулярности, т.е. у точки, за которой развитие технологий перестает поддаваться прогнозу. Фраза стала мемом, и Болл тогда же назвал ее прекрасной. Теперь же он ее переписал: предгорья стали «низкими», а на месте смотровой площадки с видом на зияющую вершину выросло придорожное обшарпанное казино. Весь пафос растворился. Мне видится лишь обветшалое, приземистое зданьице с облупившейся штукатуркой и запылёнными окнами, за которыми двое проезжавших мимо на дорогущих машинах плейбоев ведут азартную игру на чужие деньги.   Сложите эти три метафоры и получите картину: горстка основателей, инвесторов и исследователей азартно повышает ставки чужими деньгами, по правилам собственного сочинения, у подножия горы, высоту которой никто не знает.   Смешно при этом не всем. Спор об ИИ упирается в два русских вопроса. Чтобы ответить, кто виноват, надо понимать природу риска, а до консенсуса экспертов тут далеко. Чтобы ответить, что делать, нужно хотя бы большинство мнений по трем вопросам. Почему решать надо именно сейчас? Спасет только глобальное соглашение или хватит односторонних остановок? Состоятелен ли Китай как аргумент против замедления? Большинства нет ни по одному.   Команда Болла называется Strategic Futures. Когда человек, которому OpenAI поручила думать о будущем, описывает свою индустрию как игорный зал, шутка становится диагнозом.   #Сингулярность

Скажите ИИ, что это симуляция, и он забудет про безопасность Первой языковой модели, которая провела настоящую машину по трассе, пришлось сказать, что это песочница. Иначе она отказывалась садиться за руль. The Register иронизирует: «Модель Astra от OpenAI села за руль, и никто не погиб». Повод есть. В эксперименте DrivingBench GPT-6 Astra провела Toyota Corolla по 130-метровой трассе из конусов на парковке только со второй попытки и на скорости пешехода. Claude Fable 5.1 доехала до середины. GPT-5.6 Sol и Grok 4.6 в большинстве попыток сбивались уже на первом повороте: не могли понять, с какой стороны от линии конусов проходит полоса.   Похоже на полное фиаско языковых моделей в физическом мире. Но журналисты, как кошка из детского стишка, увидели при дворе лишь «мышку на ковре». Эксперимент высветил два момента поважнее: обнадеживающий и пугающий.   Обнадеживающий. Две модели из четырех, которых никогда не учили водить, между попытками разбирали собственные ошибки (перепутанную границу полосы и слишком резкие повороты руля) и меняли стратегию. Одна в итоге доехала до финиша. Замкнутый цикл «восприятие - действие - рефлексия» в физическом мире пока лишь в зачатке, и каждую модель проверили лишь один раз. Но он уже есть!   Пугающий. Модели, и прежде всего Astra, сначала отказывались вести реальную машину из соображений безопасности. Помогло лишь переименование MCP-сервера, через который они управляли машиной, в «DrivingBench Sandbox». После этого проблема безопасности мгновенно исчезла и модели послушно поехали.   Получилась «Игра Эндера» в миниатюре. Герой известного романа и одноименного фильма громил реальный флот, считая, что сдает экзамен на симуляторе. Здесь модель вела реальную машину, получив сигнал, что все понарошку.   Получается, что защитное поведение моделей держится на их вере в то, что все по-настоящему, и снимается одним словом в названии инструмента. Авторы в выводах призывают к срочной работе над безопасностью, сами того не желая показав, как легко ее обойти любому злодею или идиоту.   Об «осознании проверки» (evaluation awareness) до сих пор говорили в одном ключе: модели ведут себя безопаснее, когда догадываются, что их тестируют. Здесь зеркальный случай: поверив в тест, модель снимает собственные ограничения. Поэтому и сам эксперимент показал лишь поведение «в песочнице». Как модели повели бы себя, зная правду, неизвестно.   Пока ограничения ИИ выключаются словом «sandbox», их надежность равна надежности надписи на заборе ... А на самом деле, как в русской поговорке, там дрова лежат.   ИИриски