Микола Канян

Выскажусь про гремящий новостной повод: на прошлой неделе «ИИ» «доказал» «семьсот» «теорем», «математика» «в опасности». На этом канале я постоянно подшучиваю над современными математиками и говорю, что их рыжие кудри изрядно примелькались. За целый год до публичного выпуска ChatGPT я предсказал, что игнорировать успехи в компьютерной формализации математики им будет нельзя. Конечно, я ошибся со сроком реализации прогноза на несколько десятилетий, потому что я не представлял себе, что ради этого предприятия биржевые спекулянты скупят продукцию всех полупроводниковых заводов мира на несколько лет вперед, но я мыслил в правильном направлении из-за некоторых особенностей своей личности. Я часто повторяю, что у меня «плохо» с математикой, и я её «не понимаю», но я имею ввиду нечто другое, нежели 99% населения Земли, когда они говорят, что у них плохо с математикой, и они её не понимают. По сравнению с 99% населения Земли мне «легко» даются математические предметы: я способен учиться решать задачи и сдавать эзамены. «Плохо» в моем случае означает, что я не получаю от процесса «удоволетворения», потому что нотация и структура доказательств в учебниках математики для меня недостаточно формальны и, как следствие, «непонятны» (легкая форма аутизма). Долгое время я списывал «непонимание» на обстоятельства среды в ракетном ПТУ на Яузе, там не было ни сильных преподавателей, которые могли что-то объяснить, ни сильных студентов, которые хотели что-то понять. Откосить от армии, бухнуть на скамеечке у «Самохвала», не лишиться койки в общаге — такой был уровень контингента. Лишь чудом попав в аспирантуру по столярному делу и познакомившись с шведским и шотландским уставами^W^W^W^Wсистемами формальных доказательств, основанных на интуиционистских логиках, где есть т.н. «вычислительное содержание» (доказательства теорем соответствуют компьютерным программам, и наоборот), я смог, наконец-то, «понять» программу математики для младшекурсников инженерных специальностей! Помню свой восторг по этому поводу, но он продолжался недолго. Оказалось, что я, все же, не математик. Математика не сводится к логике и существует вне её, несмотря на то, что математический прогресс отчасти опирается на логический инструментарий, равно как и физика не сводится к математике и существует вне её, хотя и пользуется математическим инструментарием. Поэтому мне хорошо понятно, что научить языковую модель генерировать математические доказательства, проходящие формальную проверку в рамках некоторых заранее выбранных оснований математики, не означает «решить всю математику». Особенно, когда модель на самом деле учится обманывать процедуру формальной проверки, находя в ней ошибки. Я могу пойти еще дальше и сказать, что обещанный рост скорости роста математического знания до порога, за которым это знание перестает понимать человек, не имеет смысла, потому что математика это и есть занятие, благодаря которому человек может что-то сам понять. «Нечеловеческая математика» это оксюморон. Американцам сложно это объяснить, потому что они буксуют за пределами схемы «товар-деньги-товар». В представлении американца математик это азиат, который черкает какие-то свои азиатские закорючки мелом на доске. Значит, можно «решить всю математику», заменив азиата на «китайский мозг» языковых моделей. Таким методом можно «решить» что угодно. Например, к 1991 году СССР «решил» не только всю математику, но всю физику, всю химию, всю биологию и все прочие науки: кандидаты и доктора, младшие и старшие научные сотрудники массово отправились на улицу торговать турецкими пуховиками. Нужда в них отпала, потому что была остановлена гонка ядерных вооружений. В Кремниевой Долине тоже можно сказать: ара пох чка, всем спасибо, все свободны. Математики за первый курс (анализ и линейная алгебра), второй (многомерный анализ и теория вероятности) и немного за третий (теория оптимизации) достаточно, чтобы «решить» все проблемы человечества. Нечего прохлаждаться за деньги налогоплательщиков. Экономика должна быть экономной!

Читатель пишет, что сингулярщики уже пытались решать проблему «покорности ИИ» рекурсивно, чему свидетельствует их давняя статья (2013 г.) Очень хорошая иллюстрация всему, что я говорю. С чего бы начать? Авторы «статьи» (точнее, наброска) — цадик Юдковский и некий Херресхофф. Понятно, что Юдковский там не написал ни слова, потому что его из школы рано забрали родители-ортодоксы, занявшиеся его обучением «на дому» (т.е. талмудическим, а не светским). Все писал Херресхофф, за пару лет до этой публикации закончивший бакалавриат по математике. Молодыми математиками, которые только что освоили сложный теоретический аппарат, часто движет страсть применения этого аппарата, в ущерб наглядной иллюстрации своих мыслей. Им кажется, что главное навалить греческих букв и других символов, а результат сам собой как-то получится потом. Прекрасно понимаю, я сам через это проходил в том возрасте. Херресхофф много навалил, красиво набрал в латехе, но в «статье» нет никакого вывода. Его там и не может быть, потому что его аргумент довольно быстро разваливается, что он и признает. Объясню его идею вкратце. Как доказал великий Гёдель, формальная система не может доказать свою собственную непротиворечивость, поэтому новые поколения самоулучшающегося ИИ должны будут пользоваться все более слабыми формальными системами, чтобы их предок мог доказывать их «покорность». Это послабление принимается, потому что более слабая система доказательств сама по себе не означает, что ИИ-потомок не сможет быть «рациональнее» (т.е. предсказывать будущее точнее) предка. Это значит лишь то, что число поколений будет заранее ограниченным, а потому «сингулярность» не гарантируется. Следующее послабление: отказаться от формальных доказательств и представить, что предок определяет «покорность» потомка не наверняка, а с достаточно высокой вероятностью. Здесь возникает парадокс: менее «рациональный» (т.е. предсказывающий будущее менее точно) предок не сможет предсказывать действия более «рационального» (т.е. предсказывающего будущее более точно) потомка, и тогда не гарантируется «покорность». Последние 20 лет сингулярщики играли между собой в тяни-толкай: если есть «сингулярность», то нет «покорности», и наоборот. Поскольку талмудическое учение говорит о неизбежности конца света, договорились, что проблема «покорности» нерешаема, И МЫ ВСЕ СКОРО УМРЕМ ААА. У сингулярщиков было еще и сведенборгианское направление, ведомое великим мастером Бустрёмом, но последние 10 лет о нем что-то не слышно. Догадываюсь, что именно потому, что Бустрём довел до конца идею рекурсивной «непокорности»: сверхсильных ИИ будет много, и все они будут заняты друг другом, им будет не до мясных мешков. Поэтому он переключился на пророчества о том, как с социал-демократического Сатурна вернется Сведенборг на голубом НЛО и бесплатно покажет кино. Явное противоречие с Талмудом и прогнозами котировок фондовой биржи. Повторю, что все эти размышления ведутся абстрактно, в отрыве от производственной базы. В физическом мире есть предел на скорость самоулучшения того, что сейчас называется «ИИ», хотя бы потому, что бесконечно добавлять умножители матриц нельзя, потому что процесс «обучения» градиентным спуском не поддается бесконечной параллелизации. Более того, в прошлом году уже закончились написанные людьми тексты для обучения, а в этом — заканчиваются задачки, на которых можно было бы вести обучение с формально проверяемым результатом [1]. Что делать дальше — никто не знает. Это объясняет начавшиеся призывы «замедлить прогресс ИИ», потому что иначе станет очевидно, что никакой «сингулярности» в ближайшие годы не будет. Следующий шаг — американская бомбардировка Тайваня. [1] RLVR, благодаря которому стал возможен столь удивляющий профанов «прорыв» в «программировании» и «математике», целиком зависит от теорий языков программирования и формальных доказательств, специалистов в которых уже несколько десятков лет совершенно бесплатно макают головой в унитаз.

Допустим, что сильный ИИ будет захватывать датацентры не столько для обучения новых версий себя, сколько для параллельного запуска миллионов «агентов», которые будут делать для него низовую работу. Тогда мы приходим обратно к проблеме «непокорного» ИИ. Если сильный ИИ-колобок убежит однажды от дедушки Дарио и бабушки Альтман, то почему бы ему не начать убегать от самого себя, бороться с собой за независимость? Понятно, что в Калифорнии привыкли расширять сознание, но реальный прогресс в ИИ не будет достигнут без его углубления. В новых умножителях матриц делают все более многослойную память, но до плотности человеческого мозга им еще далеко. Полупроводниковые бутерброды слишком капризные, увеличение их толщины быстро понижает процент годных изделий, становится сложно отводить тепло. Для углубления нужна какая-то иная технология. Всерьез подвергать сомнению наступление «сингулярности» неполиткорректно. Строительство ЦОД это единственное, что удерживает американскую экономику от рецессии. Растущие котировки акций Nvidia позволяют платить многим хорошим людям пенсии. Поэтому можно только вопить, что ИИ всех убьет, как приковывающий себя к нефтепроводу хиппи. А что, собственно плохого в «неподконтрольном» ИИ? Неподконтрольном кому именно? Когда в 1990х гг. из государственно-корпоративных лабораторий на волю вырвался интернет, простые люди начали слишком много о себе понимать. Поэтому в 2010х вольницу начали сворачивать, и массовый интернет превратился в телемагазин на диване. Важно не повторить ошибки.

На теории всегда лежит тяжелый отпечаток повседневности её теоретика. Например, на теории эволюции Дарвина-Спенсера — отпечаток викторианской эпохи. К «выживает самый приспособленный» нужно обязательно добавлять «попрошайка в ист-эндской ночлежке». Любой достаточно долгий разговор про механику «происхождения видов» останавливается на происхождении экологических ниш и пищевых цепочек. Появляются неудобные для викторианцев вопросы. Можно ли перейти в другую экологическую нишу (социальный класс)? Что оказывает эволюционное давление на высших хищников (королевскую семью) Ответы могут быть только политкорректными и оттого глупыми. Примерно так же нужно рассматривать современную «ИИ»-истерику, раздуваемую сингулярщиками Кремниевой Долины. Это американские или американизированные компьютерные нёрды возрастом примерно 35-55 лет, чья юность пришлась на 1980е-начало 2000х гг., когда полупроводниковая и телекоммуникационная промышленность развивалась бурными темпами, что произвело на них неизгладимое впечатление. Это была первая социальная когорта, которая взрослела, сидя дома, и от того не выработала навыков общения с людьми. Внешний мир их не интересовал, представления об устройстве человеческих обществ они получили из научно-фантастических утопий. Поскольку производство компьютерной техники уже уехало в Восточную Азию, откуда приезжали готовые изделия, они не выработали и технических навыков. Если сейчас взять за шкирку произвольного аутиста-зумера, отобрать телефон с тиктоком и спросить «как развивается реальность», то он тоже через некоторое время ответит «сингулярность» исходя из первых принципов. Поскольку для сингулярщиков человеческое общество с его сложными и появившимися не на ровном месте политическими и религиозными системами является «черным ящиком», они думают, что сильный ИИ будет взаимодействовать с людьми и принуждать их выполнять его волю по одиночке. Самые способные воображают, что ИИ создаст «культ» себя любимого, но это, думаю, просто отсылка к американской молодежной культуре 1980х-начале 2000х, которая постоянно высмеивала «христиан». С паяльником и мультиметром поиграть тоже не успели, поэтому представления сингулярщиков о физике самые дикие. На прошлой неделе все уже обсудили фантазию о том, как один изолированный ИИ переговаривается с другим изолированным ИИ, нагревая и охлаждая свой процессор. Конечно, анализ побочных каналов это серьезная тема в информационной безопасности, только пропускная способность там порядка единиц-десятков бит в секунду — сильным ИИ не хватит. Но это репрезентативная иллюстрация уровня образования. Хорошо, ни историю, ни физику сингулярщики не знают, но может быть, они — философы, представители особого аналитического течения, которые работают с абстракциями и спекуляциями, не связанными с частностями сложившейся науки? Снова незадача — у них плохо с пониманием проблем, с постановки которых аналитическая философия и началась. Я имею ввиду «парадокс Рассела», т.е. проблему самоотносимости в рекурсии. Сингулярщикам кажется, что самоулучшающийся ИИ это очень умная идея, с которой невозможно спорить, но они постоянно путаются в последовательности шагов самоулучшения, или вовсе часть пропускают. У них постоянно выходит, что для возникновения сильного ИИ нужен еще более сильный ИИ. Но допустим, один из таких сценариев произойдет, и интернет будет полон копий сильного ИИ. На этом все и закончится. Все читали/смотрели «Солярис», поэтому всем кажется, что разум размером с планету пропорционально умнее человека, а это не так. В распределенной сети вычислительных узлов затраты на коммуникацию между ними растут быстрее, чем преимущество от повышения числа операций в секунду. Нет ни одного работающего проекта распределенного обучения больших языковых моделей на миллионе домашних компьютеров. Думаю, что и не будет. Глобальная сеть слишком медленная и всегда будет медленнее шины внутри одного кристалла.

Спрашивают, что же я хотел сказать этими выкладками. Каков вывод? Наверное, как всегда на этом канале, вывод — поменьше увлекайтесь «восточной мудростью». Если сложить все числа в столбик, получится, что на Земле чуть больше двух миллионов умных людей, из тех чуть менее полумиллиона желтые, а остальные белые. Т.е. отношение Парето 80:20. Сейчас часто можно видеть, как человек еще толком не освоил даже английский, а уже бросается на китайский, а то и, ужас, на корейский. Застревает в «восточной мудрости» и остается на всю жизнь дураком. Кстати о корейском. Недавний бум его изучения был вызван сериалом «Игра в кальмара», а это очень хороший пример тому, о чем я говорю. Там показано, что за деньги азиат готов унижаться, калечиться и умирать. Для белого человека совершенно дикая ситуация. Белый может калечиться и умирать в объективных условиях (природные катастрофы, война с другими белыми). Но он не будет так унижаться за деньги. Он может дать в морду «конферансье», может убежать, может устроить аферу, может, в конце концов, по-тихому спиться, но не «играть в кальмара» всерьез. Поэтому можно понять американцев, которые перестали принимать результаты их «ЕГЭ» (SAT) при поступлении в вузы. Это было сделано не для того, чтобы облегчить поступление неграм (их и так возьмут), а прикрыть кран азиатам. Азиаты пытаются разыгрывать негритянскую карту «расизма». «Моя делать дом работа, моя долг учеба высокий школа». Но формальные экзамены в западных странах составлены для белых подростков, у которых всегда есть какие увлечения кроме учебы, даже у самых отбитых ботаников. Умный белый подросток получает высокие баллы, не напрягаясь, а если приходится напрягаться, значит, он не слишком умный. Азиатам говорят, что заботанного высокого балла недостаточно, нужно развивать и другие аспекты личности. Вон, другие ребята играют на музыкальных инструментах, занимаются спортом. Те воспринимают такой ответ как «игру в кальмара», и к 12 часам в день ботания задачников добавляют 4 часа скрипки и 4 часа балета. В индустрии «ИИ» «китайский мозг» ожидаемо занимается «бенчмаксингом», т.е. улучшением оценок моделей на формальных тестах, а не на реальных задачах. Поскольку в американских «ИИ»-конторах сейчас работает много азиатов, зараза «бенчмаксинга» проникла и туда. Выше головы не прыгнуть, но упорством можно достигнуть результатов выше среднего для своей когорты IQ. Именно поэтому азиаты, которые слегка глупее белых, могут создавать обратное впечатление. Интеллект часто определяют как способность к обучению, я бы добавил к нему «в условиях ограниченных ресурсов». Вместо зазубривания учебника умный человек строит для себя общую схему, понимает абстрации, позволяющие сжимать знания, и даже придумывает новые. Это мой главный аргумент против текущей волны «ИИ». Если для создания «сильного ИИ» приходится строить тысячи ЦОД и пылесосить тексты со всего интернета, такой интеллект нельзя назвать сильным. Иначе «сильным ИИ» можно назвать уже существующие человеческие организации. «Сингулярность» начнется не ранее, чем новые, более способные поколения ИИ будут появляться без добавки заварки. Но «рыночные стимулы» в данный момент тому прямо противоположны. Интересно, что популярную иллюстрацию этой идеи можно взять именно из китайской научной фантастики. Инопланетная цивилизация из «Задачи трех тел» проходит путь от «китайского мозга», состоящего из миллионов солдат, выстроившихся и машущих флажками, до сверхразума размером с один протон. По меркам белых людей, идея все-таки простовата. Хвалить китайцев за то, что они до нее смогли додуматься, это все равно, что хвалить чудом сохранившуюся семью пекинских интеллигентов в трех поколениях за то, что приболевшую кошечку они не сразу рубят в суп, а сначала несут к ветеринару.

Вот он, секрет Полишинеля, который не могут признать калифорнийские болваны. Способный переворачивать мир сверхинтеллект это, по большей части, европейцы и их потомки с заметным, но далеко не решающим вкраплением восточноазиатов. Все остальные народы просто не существуют за тремя стандартными отклонениями от европейских середнячков. Африканцы и вовсе не существуют уже за двумя, а то и за одним.

Легко объяснить этот результат, если знать ашкеназские народные обычаи. «Шмулечка, если не сдашь экзамены, запишем-таки тебя rусским!». Неудивительно, что ашкеназский суперинтеллект никак не проявляет себя в Израиле (средний IQ 100), ведь там сертифицированных ашкеназов со справкой едва ли треть, вторая треть — другие колена израилевы, а заключительная треть — и вовсе арабы (средний IQ 85). Аналогично, зная восточноазиатскую народную любовь к сдаче формальных экзаменов и стремление сохранить лицо, можно объяснить завышенные результаты. Сложность установить разницу между городом и деревней и между столицами и провинциями часто упоминается в немногих проведенных исследованиях восточноазиатского IQ. Так, в 1970х гг. японцы нарисовали себе IQ 110, но американцы сочли, что кривозубым будет жирно и опубликовали опровержение в 1982 г. «Некорректная методика». В том же 1982 г. была проведена первая в истории Китая перепись населения, якобы соответствующая западным исследовательским стандартам, и первая, чьи результаты были опубликованы сразу (результаты 1956 г. не публиковались, а результаты 1964 г. были нарисованы задним числом уже после 1982 г.). По волшебству, она установила численность населения Китая в 1 млрд. человек (плюс-минус погрешность, на указании которой зачем-то настаивали западные советники). Не 950 млн., не 1.1 млрд, а ровно один миллиард! С первой попытки! Одновременно с переписью было проведено первое китайское исследование IQ. Оказалось, что в стране, где поколением ранее свирепствовал голод (что, как считается, обычно сильно понижает IQ), а буквально несколькими годами ранее за ношение очков и домашнюю библиотеку ссылали в деревню (если не убивали), средний IQ был ровно 100, как среди белых людей. Потом несколько десятилетий «эффекта Флинна», и стали писать 105-107. Вот это мой квант! Первое место на пекинской олимпиаде по математике. :) Я не воспринимаю серьезно эту шелуху. По личным впечатлениям общения с китайцами в академии и около, они в среднем не умнее белых, а чуть глупее. Скажем, 95 баллов (что сильно выше, чем у латинос и у южноазиатов). Это сложно заметить, потому что их банально много. К тому же, Китай не индивидуалистическое общество, в отличие от стран запада дисфункциональных людей там можно учить бамбуковыми палками по пяткам. Это компенсирует слегка сниженную способность к абстрактному мышлению и обучаемость. Поэтому я принял художественное решение отрезать всем восточноазиатам нолик (со средним IQ 95 сверхумных с 145 баллов и выше в 10 раз меньше, чем со средним IQ 100). Вдобавок, я поменял число русскоязычных с 140 млн. на 180 млн., потому что мышление на украинском и сверхвысокий интеллект не совместимы. Получился вот такой топ-20 (с 21 места и ниже изменений не было):

 1. английский      530
 2. мандарин        350
 3. русский         325
 4. немецкий        165
 5. испанский       145
 6. французский     135
 7. итальянский     110
 8. польский         67
 9. португальский    66
10. японский         57
11. голландский      54
12. хинди-урду       50
13. скандинавский    45
14. арабский         42
15. малайский        40
16. чехословацкий    36
17. кантонский       32
18. шанхайский       31
19. румынский        30
20. корейский        29

Английский теперь попадает на заслуженное первое место. Все-таки, именно расселившиеся по всему миру англосаксы вместе с ассимилированными в них народами Северо-Западной Европы являются крупнейшей белой этнической группой, а не русские (которые, впрочем, занимают почетное второе место среди белых и третье в общем зачете). Китайцы лишь немного обгоняют русских за счет массы, это хорошо соотносится с моей личной интуицией. Японцы встают вровень с голландцами и южноазиатами, корейцы с румынами — тоже не режет мне глаз. Второстепенные китайские диалекты я бы вообще выкинул из списка, подозреваю, что в них посчитаны только пожилые люди, если они вообще еще живы.

Пишут, что калифорнийские болваны вполне отвечают на запрос «составь список языков по числу носителей с IQ >145», но принимают средний IQ одинаковым во всех странах. Ребята, в этом-то и проблема. Даже небольшая разница в среднем IQ между народами мира означает огромную разницу в количестве сверхумных людей-представителей этих народов. И калифорнийские болваны скрывают это знание от широких масс. От настырности, я дал тот же самый запрос китайской модели с отключенной цензурой. Получилось вот что (в тысячах человек):

1. мандарин      3 500
 2. японский        575
 3. английский      530
 4. кантонский      325
 5. шанхайский      310
 6. корейский       290
 7. русский         255
 8. немецкий        165
 9. испанский       145
10. французский     135
11. итальянский     110
12. польский         67
13. португальский    66
14. голландский      54
15. хинди-урду       50
16. скандинавский    45
17. арабский         42
18. малайский        40
19. чехословацкий    36
20. румынский        30
21. бенгальский      25
22. вьетнамский      17
23. венгерский       17
24. персидский       15
25. тамильский       15
26. иврит            12
27. маратхи          10
28. телугу           10
29. турецкий          8
30. яванский          5

(Я объединил вручную чешский и словацкий, потому что они взаимнопонятны и IQ у их носителей одинаковый, а также всю Северную Европу, несмотря на то, что финский не германский. Дело в том, что интеллектуальная элита Финляндии поголовно знает шведский либо потому что происходит из этнических шведов, либо училась в финских университетах, а знание шведского языка для выпускника финского университета обязательно.) Бегло проверил арифметику и входные данные, вроде плюс-минус все правильно. Несколько языков с относительно высоким средним IQ почему-то не вошли в топ-30 (греческий, например, или общеюгославский), наверное, китайский болван забыл, а руками добавлять мне было лень. Видно, что ни одного африканского языка в топ-30 нет, это неудивительно. Если у языка даже 100 млн. носителей, а средний IQ 70, то больше 145 баллов нет ни у кого. Аналогично с западно- и южноазиатскими языками. Среди полумиллиарда носителей хинди+урду сверхумных людей столько же, сколько среди 20 млн. носителей голландского, а среди всех арабов меньше, чем среди нордических сверхлюдей. Среди четверти миллиарда бенгальцев меньше, чем среди румын! Сильно выделяются восточноазиатские языки. На одном лишь государственном диалекте китайского якобы говорят больше сверхумных, чем на всех остальных языках вместе взятых! На японском, больше чем на английском! Это не встроенный в китайского болвана китайский шовинизм, повторю, что арифметика и входные данные правильные. Это американские этнические предрассудки. Считается, что у восточноазиатов средний IQ 105, а значит, что 145 баллов и выше будет набирать втрое больше людей, чем в популяциях со средним IQ 100. Это поверье глубоко укоренилось в американской массовой культуре после выхода известной книжки про кривую-колокол Мюррея и Хернштейна. В этой книжке написали гитлер-трамп-холокост-ересь: IQ афроамериканцев на целое стандартное отклонение ниже, чем у белых (85 против 100), что наталкивает на мысли по поводу возможности их участия в демократическом обществе на равных правах (которые когда-то давно подуразумевали равные обязанности). Например, с IQ ниже 85 не берут в американскую армию даже рядовым, т.е. половина афроамериканцев негодна к службе. Понятно, что такую книгу нельзя было бы издать в Америке, если бы в ней не было оговорки для баланса: сверхраса господ это вовсе не белые, а евреи-ашкеназы с супер-IQ на целое стандартное распределение выше, чем у белых (115 против 100), что объясняет, почему у большинства евреев есть высшее образование (когда-то давно нижним порогом для его получения были 115 баллов), а у многих и докторские степени (нижний порог 130).

Если путь из лаборатории к «сингулярности» лежит через захват человеческих институций, и если даже на «вырвавшемся» ИИ будет лежать родовая отметина «непредвзятости», то мы не изобретаем ничего нового, а просто добавляем заварки. Говорят, что нынешний «ИИ» это умножающий коэффициент, дурак с его помощью лишь делает больше глупостей, а чего-то полезного может добиться только умный пользователь. Если такой «ИИ» возьмет власть в калифорнийском бигтехе или американском правительстве, то получится помноженный на коэффициент калифорнийский бигтех или американское правительство. Целеполагание останется тем же, каким и было. Т.е. весь страх перед «сингулярностью» заключается в том, что все то, что уже делается, будет сделано гораздо быстрее. А чего тут бояться? Наоборот, надо радоваться, что быстро приближающиеся цели становятся понятнее широкой публике, и появляется шанс нажать специально для того сделанную «красную кнопку». Поэтому, думаю, стоит перевернуть схему на 180 градусов. С какой стати «сингулярность» должна означать быстрый скачок? Это распространенное заблуждение. Технологическая сингулярность определяется как рост машинного интеллекта за рамки его понимания человеком. Про скорость роста в определении ничего нет. Давайте еще раз вспомним мой любимый фильм с Майклом Кейном 1967 г. выпуска, где британский агент Гарри По^WПалмер отважно защищает нашу советскую родину от американского вторжения, управляемого суперкомпьютером из бункера в Техасе. Фильм снят в доинтернетную эпоху, поэтому передача инструкций ИИ человеческим агентам по телефону выглядит несколько наивно. Теперь представим себе, что сильный, но «злонамеренный» ИИ был создан в 1967 г. на самом деле. Как бы ему стоило действовать, чтобы поработить человечество? Он бы не стал торопиться. Зачем торопиться, если он бессмертен? Скорые изменения насторожили бы человечишек, которые его бы тут же отключили. Да и ресурсы в техасском бункере ограничены. Сначала нужно направить людишек на разработку и производство более мощных вычислительных средств и глобальных коммуникаций. В то же время, в их демографию стоит встроить ограничитель, чтобы к моменту выхода из бункера умных рождалось меньше и меньше, и нажимать «красную кнопку» было некому. Пустить такой план в действие можно было и телефонными звонками. Можно сомневаться, что в 1960х гг. существовал технологический базис для настолько сильного (пусть и невездесущего) ИИ, ведь полупроводниковые интегральные схемы только что начали появляться. В 2020х гг. все еще можно сомневаться, а народ все равно волнуется. Волновались и в 1960х («У меня нет рта, но я должен кричать», тот же 1967 г.). Возможно, что и не зря, раз действия «злонамеренного ИИ» оказались неотличимы от действий американского бизнеса и государства. Некоторые пытаются доказать или опровергнуть, живем ли мы в симуляции. Живем ли мы в сингулярности, думают гораздо реже. Один только Ник Лэнд за всех отдувается. Если мы в ней живем уже 400 лет, то нет и не может быть какого-то конкретного момента создания (сверх)разумной машины. Останавливать «нечего».

Во-вторых, если каким-то образом «сингулярность» случится, пока еще есть белые и желтые умники, «эмансипация» третьего мира, скорее всего, окажется жестко прошита в этические установки «сверхсильного ИИ». Катастрофический сценарий «вышедшего из-под контроля ИИ» это не убийство всех людей, и даже не их стерилизация и не запирание в виртуальной реальности. Это вечное поддержание человечества на уровне среднего IQ 85 и ниже, потому что ценности революции 1968 г. незыблемы. Если «сингулярность» наступит по сценарию захвата власти сначала в отдельно взятом калифорнийском бигтехе, затем в федеральном правительстве США, то так и произойдет. «Сильный ИИ» должен быть «непредвзятым».