Агрегатор рациональности :: Uncolored 🕘 история названий (1)

Лишь 0,2% человечества реально выжимает что-то из ИИ в работе Так заявляет Андрей Карпаты. И раскидывает всех нас на четыре категории — по тому, кто в курсе про ИИ, а кто ещё и умеет им пользоваться. 75%, это около 6 млрд душ — с языковыми моделями вообще не пересекались и не в теме; 20% — иногда дёргают бесплатные чат-боты, но смотрят на них как на Google, только прокачанный; 0,2%, то есть примерно 20 млн — гоняют передовые модели в коде и математике и уже воочию видят, как агенты за один запрос закрывают работу, на которую уходили недели и месяцы; 0,00006%, или где-то 5000 человек — имеют доступ к самым мощным внутренним ИИ-системам: запускают тысячи агентов поверх сложных проектов, копают уязвимости и помогают делать научные открытия. 👉 Frontender's notes

С точки зрения чистой этики я скорее допускаю смертную казнь. Подойти к этому вопросу можно например так: когда некто неправомерно лишает жизни другого, это можно трактовать как акт эксплицитного отказа от собственного права на жизнь. Такую логику с натяжкой можно назвать локкеанской: убийца сам выводит себя из-под действия естественного права и оказывается в "состоянии войны". Впрочем, такая позиция требует уточнения: по крайней мере, интуитивно мне не нравится вариант доведения ее до абсурда, где каждый может пускаться в открытую охоту за убийцами (можно представить, сколько психопатов тогда примутся этим заниматься). Но это все в теории. На практике я противник смертной казни. Из чисто практических соображений. Если мы отринем всякие варианты "частной смертной казни", то единственной инстанцией, которая может казнить, у нас остается государство. А что мы можем сказать про государство как институт? Правильно: главным образом то, что данный институт делает все через жопу. Поэтому аргументом для меня по сей день остается услышанная когда-то давно фраза: если мы не хотим доверять государству регуляцию экономики, то как можем доверять ему вопросы жизни и смерти? И впрямь: государство эта такая особая штука, в которой вероятность казни невиновного как бы сильно перевешивает любые моральные аргументы в пользу самой смертной казни. Государство США неоднократно это иллюстрировало, казня людей на основании сомнительных доказательств (а спустя годы новые методы, вроде анализа ДНК, доказывали их невиновность). Еще Лисандер Спунер в 19ом веке критиковал штуку под названием death qualification. Дело в том, что под кейсы со смертной казнью отбирают еще и специальных присяжных, которые не против казни. В результате отбираются люди особого психотипа — им, как правило, требуется меньше доказательств для вердикта о виновности. То есть, получая обвинения в преступлении, где возможна смертная казнь, вы также в довесок получаете особый суд, который устроит куда меньший объем доказательств, чем обычно. Есть тут очевидно какое-то нарушение принципа равенства правосудия. Но тут подоспел пример, как государство может накосячить даже в кейсе с доказанной виной. В Теннеси некая Криста Пайк по молодости совершила и впрямь весьма отбитое убийство: вместе с парнем и подругой они заманили в лес девушку, полчаса мучили и убили. В процессе вырезали на груди пентаграму. Пайк забрала кусок черепа и хвастались им перед сокурсниками по колледжу. У самой Пайк хреновое детство в анамнезе: изнасилование, абьюз, попытка суицида. Парню было 17 и он получил пожизненное, подруга заключила сделку со следствием. В итоге смертный приговор достался одной Пайк. Было все это аж в 1995 году. Дальше была сложная история апелляций, которые то подавали, то отзывали. С 1996 года Пайк держали в одиночке на продоле смертников (death row). Так вот, на днях дело, наконец, дошло до приведения в исполнение. Пайк вкололи две дозы инъекции, после которых та оказалась в агонии, но... выжила. Интересно, что врач, который этим занимался, до того уже успел накосячить аналогичным образом с другим приговоренным. Но госслужба — это место, где вам всегда дадут второй шанс. В общем, "один сломал, второй потерял". Сейчас видимо будут очень сложные разбирательства: что делать дальше. Будь моя воля: я отпустил на все четыре стороны. Мол, формально приговор приведет в исполнение. Даже дважды. А результат — это уже другое дело. Неформально: как порвавшаяся веревка висельника, божественное провидение, которое христианской нации надо бы уважать. Но я слава Богу не американский юрист, не мне в этом разбираться. В общем, с точки зрения абстрактного гуманизма, тут явно вышло cruel and unusual punishment. Да и 30 лет в одиночке, если вдуматься, оно же. С чисто практической точки зрения: сколько священных денег налогоплательшиков удалось бы сэкономить, если бы не вся эта пляска с кучей апелляций, содержанием в максимум секьюрити и инъекциями, сделанными криворукими врачами? Нахуй смертную казнь.

Человек - 1, термостат - 0, языковая модель - от «почти ноль» до 0,8 Вердикт о сознании ИИ зависит от нас не меньше, чем от машин Томас Кун писал, что главный признак кризиса науки — пролиферация (разрастание числа) конкурирующих теорий. А применительно к когнитивным наукам, Пол Мил писал, что появление лавины нестыкующихся теоретических конструкций для одного феномена — надёжный маркер примитивного/зачаточного состояния науки. Сегодня на портале «Ландшафт сознаний» уже около 500 концепций и объяснений сознания. 🤯 Новая работа 14-и авторов, вкл. корифеев темы из Google DeepMind (Мюррей Шанахан, Шейн Легг) и не только (Анил Сет, Крис Фрит) раскладывает конкурирующие теории сознания по пяти уровням и предлагает модель, показывающую, что теории расходятся не столько в оценке того, что делает ИИ, сколько в выборе уровня, на котором вообще следует искать сознание.   Авторы не тратят время на «трудную проблему сознания» (что такое сознание по своей сути), а подходят к вопросу практически: какая организация системы связана с переживанием и на каком уровне ее описания. Уровней пять: поведение, вычисления, внутренняя причинная структура, организм и связка «организм - среда». Каждая влиятельная теория сознания занимает свой уровень. Одним достаточно правильной архитектуры вычислений, другим обязательно нужен живой организм, а третьим – подавай тело, погруженное в мир. Дальше чистая арифметика. Для каждого уровня сформулированы проверяемые индикаторы, а байесовская модель сводит их с тем, насколько вы доверяете каждой теории. Проверку здравым смыслом модель проходит: человек получает 1, термостат 0. Муха набирает высокий балл, потому что свидетельства в ее пользу лежат на глубоких уровнях организма и сенсомоторики (а глубина весит больше широты). Для нынешних языковых моделей итог колеблется от «почти термостата» (менее 0,01) до «почти человека» (примерно 0,8). Оптимист и скептик, глядя на одни и те же факты, расходятся почти на два порядка.   Авторы предупреждают: это не измеряемая вероятностью сознания, а чувствительность модели к допущениям. Заголовки «ИИ сознателен на 80%» будут ложью. Ценность работы в том, что спор о сознании ИИ теперь можно вести с цифрами на столе, точно зная, где проходят разногласия.   Неудобный вывод ждет тех, кто готов обсуждать переживания модели перед ее отключением. Языковая модель обучена воспроизводить нашу речь, поэтому ее «я чувствую» или «я ничего не чувствую» почти ничего не доказывает. У подражающего человеку ИИ поведение теряет силу свидетельства, и проверять приходится то, что скрыто под ним.   Самый убойный свой тезис авторы называют наиболее спекулятивным. Признаки сознания на каждом уровне почти совпадают с архитектурой, которая нужна для AGI. В принципе сознание и интеллект независимы, но на практике могут оказаться спутниками. Тогда, в рамках ряда теорий, каждое новое поколение ИИ, становясь умнее, будет становиться и более сильным кандидатом в сознающие. А по Чалмерсу (и автору поста), одна развернутая модель может оказаться не одним субъектом, а множеством - вплоть до отдельного субъекта на каждый разговор (у меня это называется ИКЖИ - см. посты с тэгом #ИКЖИ).   Т.о. вопрос о сознании ИИ перестал быть делом вкуса и стал задачей с явными допущениями и обновляемыми вероятностями. Подробный разбор, надеюсь, впереди (в отдельном эссе).   P.S. В комментариях к моим постам много споров о сознании машин. Так вот, - заканчивайте спорить. К модели приложен интерактивный инструмент, где можно выставить собственные веса теорий и посмотреть на итог. Попробуйте: это быстрый способ выяснить, какую теорию сознания вы на самом деле разделяете. И если ваш оппонент разделяет другую - то спорить просто нет смысла. 😊   #Сознание #ИКЖИ

#Сеня_и_Даня_здесь_были Вы плохо молитесь, поэтому будете смотреть это раз в день. Хотя это очень смешно. Надо было дожать тему с MadMax<->Minimax @cgevent

Казино в предгорьях сингулярности Самый короткий диагноз ИИ-индустрии поставил автор стратегии Трампа по ИИ, а ныне шеф сценаристов будущего в OpenAI 23 сентября Совбез ООН впервые провел заседание, целиком посвященное рискам все более способного ИИ. Альтман и Амодеи просили правительства договориться. Йошуа Бенжио, один из крестных отцов ИИ, назвал опасности «реальными и близкими» и предложил лицензировать передовые модели, как лицензируют атомную энергетику. Майкл Крациос, помощник Трампа и директор Управления научно-технической политики Белого дома, ответил, что США «полностью отвергают глобалистскую схему контроля над суперинтеллектом». Итог обескураживает: индустрия просит у государства тормозов, а государство отвечает, что тормоза – это происки глобалистов.   Той же ночью по американскому времени появился твит, подводящий итог «битвы при Совбезе ООН» точнее всех читанных мною репортажей. Он набрал всего 4К+ просмотров – а зря, очень зря: «playing with house money at the indian casino in the low foothills of the singularity» «играем на деньги заведения в индейском казино в низких предгорьях сингулярности».   Соль в том, кто автор твита. Дин Болл с июля возглавляет в OpenAI команду Strategic Futures – стратегических сценариев будущего. До этого он был старшим советником по ИИ в том самом управлении, которым руководит Крациос, и главным автором трамповского Плана действий по ИИ. Получается, что вечером глава его бывшего ведомства объясняет миру, что никакого глобального контроля не будет. А ночью автор трамповской ИИ-стратегии, ныне сотрудник одной из двух ведущих лабораторий мира, описывает происходящее языком завсегдатая игорного зала. Фраза собрана из трех метафор. House money – деньги заведения. Так называют выигрыш, который игрок снова ставит на кон, уже отбив свое. Проигрывать его не больно, поэтому ставки растут, а осторожность отключается. Венчурные сотни миллиардов, оценки под триллион накануне IPO, контракты на вычисления, которые считают уже сотнями миллиардов долларов, – индустрия давно играет на чужие. Indian casino – казино в резервации. Законы штата об азартных играх там не действуют, правила устанавливает само племя по договору со штатом. Для ИИ-индустрии точнее не придумаешь: рамки безопасности лаборатории пишут себе сами, а Белый дом только что объявил, что других рамок не будет. Вдобавок это провинция: никакого блеска Лас-Вегаса, игровые автоматы у трассы. Low foothills of the singularity – самая ядовитая часть. «Предгорья сингулярности» – торжественная формула Хассабиса. Этой фразой глава Google DeepMind в мае закрыл конференцию Google I/O: однажды мы поймем, что стояли в предгорьях сингулярности, т.е. у точки, за которой развитие технологий перестает поддаваться прогнозу. Фраза стала мемом, и Болл тогда же назвал ее прекрасной. Теперь же он ее переписал: предгорья стали «низкими», а на месте смотровой площадки с видом на зияющую вершину выросло придорожное обшарпанное казино. Весь пафос растворился. Мне видится лишь обветшалое, приземистое зданьице с облупившейся штукатуркой и запылёнными окнами, за которыми двое проезжавших мимо на дорогущих машинах плейбоев ведут азартную игру на чужие деньги.   Сложите эти три метафоры и получите картину: горстка основателей, инвесторов и исследователей азартно повышает ставки чужими деньгами, по правилам собственного сочинения, у подножия горы, высоту которой никто не знает.   Смешно при этом не всем. Спор об ИИ упирается в два русских вопроса. Чтобы ответить, кто виноват, надо понимать природу риска, а до консенсуса экспертов тут далеко. Чтобы ответить, что делать, нужно хотя бы большинство мнений по трем вопросам. Почему решать надо именно сейчас? Спасет только глобальное соглашение или хватит односторонних остановок? Состоятелен ли Китай как аргумент против замедления? Большинства нет ни по одному.   Команда Болла называется Strategic Futures. Когда человек, которому OpenAI поручила думать о будущем, описывает свою индустрию как игорный зал, шутка становится диагнозом.   #Сингулярность

Чтобы въехать в философию сознания, я бы посоветовал четыре книги на русском языке: 1. Вадим Васильев Трудная проблема сознания 2. Джон Сёрл Открывая сознание заново 3. Дэвид Чалмерс Сознающий ум 4. Дэниел Деннет Сладкие грёзы Дополнительно: 1. Дмитрий Иванов Природа феноменального сознания 2. Дмитрий Волков Бостонский зомби 3. Светлана Нагуманова Материализм и сознание 4. Вадим Васильев Сознание и вещи 5. Дмитрий Волков Свобода воли: иллюзия или возможность? Есть и другая хорошая литература. Но если бы я начинал разбираться, то начал бы именно с этого. Хватит лет эдак на пять. В целом не так важно, с чего начинать. Главное — не начинать с «экзотических» позиций вроде Метцингера, Пенроуза, всяких панпсихизмов и расселианских монизмов. Для утопающего есть риск не спасти себя.

Видели, сколько там уже симуляций с мухой? 🪰 3 сентября гугл выложили мозг и центральную нервную систему мухи в открытый доступ, после чего на мухе сразу же запустили Bad Apple, отправили ее играть в DOOM, собирать кубик Рубика, парковаться, разворачивать базу данных и многое другое. Где-то для обучения подают сигнал на дофаминовые нейроны при неправильном действии. Где-то используют reinforcement learning как в машинном обучении. Но в большинстве симуляций муху скорее всего ничему особо не научили, а просто сразу подают нужные для движения сигналы, то есть сделали реверс-инженеринг мухи

За ниспровергателей научного консенсуса!   Нассим Талеб снова жестко критикует статистическую слабость выводов ученых. На сей раз, не про войну, а про выпивку. Автор знаменитого «Черного лебедя» и теории антихрупкости в прошлый раз опровергал гипотезу «долгого мира» без большой войны. Сейчас – опровергает выводы исследования, утверждающего, что даже умеренное потребление алкоголя связано с рисками смерти, инвалидности и хронических заболеваний. В своей критике исследования Талеб утверждает, что оно имеет недостаточно документированную статистическую основу и, вообще, в точки зрения статистики, мягко говоря, странное. Почти 10 лет назад в ставшем вирусным лонгриде «Большой войны не миновать» я рассказал, как в ходе Нобелевского симпозиума Нассим Талеб опроверг теорию Стивена Пинкера о будто бы уже начавшейся эпохе «долгого мира» с неуклонным падением уровня насилия, снижением кровопролитности и числа войн. Тогда Нассим Талеб математически обосновал совершенно противоположный и страшный вывод: Большой войны с десятками миллионов жертв человечеству не миновать. Время показало, что как это ни прискорбно признавать, но позиция Талеба в том нобелевском споре была ближе к истине, чем позиция Пинкера.   Теперь история талебовских опровержений повторяется в духе ставшей мемом фразы В.С. Черномырдина «Никогда такого не было и вот опять». Талеб снова выступает в роли ниспровергателя нового научного консенсуса. Но это ниспровержение, на сей раз, не катастрофичное. И если Талеб прав, то даже и духоподъемное (по крайней мере, для мужской части населения планеты).   В статье с призывным названием «Выпей еще» Талеб дезавуирует выводы опубликованного в «Журнале исследований алкоголя и наркотиков» исследования за подписью 25 авторов из 28 исследовательский центров (институты, кафедры, национальные центры, медицинские школы и общественные организации США и Канады), критикующего потребление алкоголя в низких и умеренных дозах. Главный вывод авторы исследования вынесли в его длинный заголовок: «Исследование потребления алкоголя и здоровья: отсутствие защитного эффекта при низких уровнях, при этом смертность возрастает до 1 из 25 при 14 порциях в неделю». Опираясь на данные статистики, авторы утверждают, что риск связанной с алкоголем смерти, составляющий в течение жизни >1 на 1000 при 7 стандартных порциях алкоголя в неделю, достигал ~1 на 25 (4%) при 14 порциях в неделю (установленный верхний предел рекомендаций врачей). Для справки: 1 стандартная порция – примерно 355 мл пива или 150 мл вина или 44 мл крепкого. В итоге авторы рекомендуют употреблять не более 1 порции в день (или меньше).   Критическую аргументацию Талеба желающие прочтут сами. Мое обсуждение математической обоснованность его аргументов с математиками показало следующее. ·       Арифметика Талеба безупречна. ·       Вывод о «подозрительной» агрегации интервалов неверен и опровергается его же цифрами при проверке по всем дозам. ·       Аргумент про асимметрию слаб. ·       Аргумент про чувствительность к одной возрастной группе и одному параметру), по существу, верен, хотя и сформулирован небрежно. Итоговая оценка этой критики примерно такая. Как это свойственно Талебу, главное в его аргументации, к сожалению, тонет в риторике про «странную статистику» исследования, «заказанного правительством США». И то, и другое правда. Но суть критики математической обоснованности исследования в другом.   Вывод Телеба «статья ничего не показывает» не корректен. Но он прав в следующем: ·       Статья показывает уверенный вред при 14+ порциях в неделю ·       Статья ничего не показывает о вреде употребления от 1 до 7 порций ·       Заголовок статьи продаёт верность первого (вред при 14+ порциях), как доказательство второго (вред при 1–7 порциях)   И хотя приглашение Талеба «выпить ещё» из этого не следует, я все же приглашаю желающих при случае выпить за ниспровергателей научного консенсуса. Ибо без них наука развивалась бы куда медленнее, и весь мир в 21 веке пребывал бы где-то на уровне Арканара… Хотя некоторые все равно пребывают.   #Матстатистика