Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения...
В 1945 году, когда американские физики готовились к испытанию атомной бомбы, кому-то пришло в голову спросить, не может ли такое испытание зажечь атмосферу.
Опасение было оправданным. Азот, из которого состоит большая часть атмосферы, энергетически нестабилен. Если столкнуть два атома достаточно сильно, они превратятся в атом магния, альфа-частицу и выпустят огромную энергию:


Жизненно важным вопросом было то, может ли эта реакция стать самоподдерживающейся. Температура внутри шара ядерного взрыва должна была превысить всё, что когда-то наблюдалось на Земле. Не получится ли, что мы бросим спичку в кучу сухих листьев?
Физики из Лос-Аламоса провели анализ и решили, что запас безопасности получается удовлетворительным. Поскольку все мы сегодня пришли на конференцию, мы знаем, что они были правы. Они были уверены в своих предсказаниях, поскольку законы, управляющие ядерными реакциями, были прямолинейными и достаточно хорошо известными.
Сегодня мы создаём ещё одну технологию, изменяющую мир – машинный интеллект. Мы знаем, что он чрезвычайно сильно повлияет на мир, изменит то, как работает экономика, и запустит непредсказуемый эффект домино.
Но существует ещё и риск неуправляемой реакции, во время которой ИИ достаточно быстро достигнет и превысит человеческий уровень интеллекта. И в этот момент социальные и экономические проблемы будут волновать нас меньше всего. Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением, манипулируя людьми, или просто используя их тела как удобный источник ресурсов.
В прошлом году философ Ник Бостром выпустил книгу «Сверхинтеллект», в которой описал алармистский взгляд на ИИ и попытался доказать, что подобный взрыв интеллекта одновременно опасен и неизбежен, если полагаться на несколько умеренных предположений.
Компьютер, завладевающий миром – любимая тема НФ. Однако достаточно много людей серьёзно относятся к этому сценарию, поэтому и нам нужно серьёзно их воспринимать. Стивен Хокинг, Илон Маск, огромное количество инвесторов и миллиардеров Кремниевой долины считают этот аргумент убедительным.
Давайте я сначала изложу предпосылки, необходимые для доказательства аргумента Бострома.

Предпосылки

Предпосылка 1: работоспособность идеи

Первая предпосылка представляет собой простое наблюдение существования мыслящего разума. Каждый из нас носит на своих плечах небольшую коробку мыслящего мяса. Я использую свою, чтобы выступать, вы используете свои, чтобы слушать. Иногда в правильных условиях эти разумы способны рационально мыслить.
Так что мы знаем, что в принципе это возможно.

Предпосылка 2: никаких квантовых заморочек

Вторая предпосылка говорит, что мозг – это обычная конфигурация материи, хотя и чрезвычайно сложная. Если бы мы знали о ней достаточно, и у нас была подходящая технология, мы бы могли точно скопировать её структуру и эмулировать её поведение при помощи электронных компонентов, точно так же, как сегодня мы способны симулировать очень простую анатомию нейронов.
Иначе говоря, эта предпосылка говорит, что сознание возникает при помощи обычной физики. Некоторые люди, например, Роджер Пенроуз, воспротивились бы этому аргументу, считая, что в мозге происходит что-то необычное на квантовом уровне.
Если вы религиозны, вы можете верить, что мозг не может работать без души.
Но для большей части людей такую предпосылку легко принять.

Предпосылка 3: множество возможных разумов

Третья предпосылка состоит в том, что пространство всех возможных разумов велико.
Наш уровень интеллекта, скорость мышления, набор когнитивных искажений и т.д. не предопределены, а являются артефактами нашей истории эволюции. В частности, нет физического закона, ограничивающего интеллект на уровне людей.
Это хорошо представить на примере того, что происходит в природе при попытке максимизировать скорость. Если бы вы встретили гепарда в доиндустриальные времена (и выжили бы), вы могли бы решить, что быстрее его ничто двигаться не может.
Но мы, конечно, знаем, что существуют всяческие конфигурации материи, к примеру, мотоцикл, способные двигаться быстрее гепарда, и даже выглядящие покруче его. Однако прямого эволюционного пути к мотоциклу не существует. Эволюции сначала нужно было создать людей, которые уже создали всякие полезные штуки.
По аналогии, могут быть разумы, гораздо умнее нашего, но недоступные в ходе эволюции на Земле. Возможно, что мы можем их создать, или изобрести машины, которые могут изобрести машины, которые могут их создать.
Возможно, существует естественный предел интеллекта, однако не существует причин считать, что мы к нему приблизились. Возможно, самый умный интеллект может быть в два раза умнее человека, а возможно, и в шестьдесят тысяч.
Этот вопрос эмпирический, и как на него отвечать, мы не знаем.

Предпосылка 4: наверху полно места

Четвёртая предпосылка состоит в том, что у компьютеров ещё полно возможности стать быстрее и меньше. Вы можете считать, что закон Мура замедляется – но для данной предпосылки достаточно верить в то, что железо меньше и быстрее возможно в принципе, вплоть до нескольких порядков.
Из теории известно, что физические пределы вычислений довольно высоки. Мы можем удваивать показатели ещё несколько десятилетий, пока не наткнёмся на некий фундаментальный физический предел, а не на экономический или политический предел закона Мура.

Предпосылка 5: компьютерные масштабы времени

Предпоследняя предпосылка состоит в том, что в случае, если нам удастся создать ИИ, будет ли это эмуляция мозга человека или какое-то особенное ПО, он будет работать на масштабах времени, характерных для электроники (микросекунды), а не для человека (часы).
Чтобы достичь состояния, в котором я могу выступать с этим докладом, мне надо было родиться, вырасти, ходить в школу, в университет, пожить немного, прилететь сюда, и так далее. Компьютеры могут работать в десятки тысяч раз быстрее.
В частности, можно представить, что электронный разум может изменить свою схему (или железо, на котором он работает), и перейти к новой конфигурации без того, чтобы заново изучать всё на человеческих масштабах, вести долгие разговоры с человеческими преподавателями, ходить в колледж, пытаться найти себя, посещая курсы рисования, и так далее.

Предпосылка 6: рекурсивное самоулучшение

Последняя предпосылка – моя любимая, поскольку она беззастенчиво американская. По ней, какие бы цели ни существовали у ИИ (а это могут быть странные, чужие цели), он захочет улучшить себя. Он захочет стать лучшей версией ИИ.
Поэтому он найдёт полезным рекурсивно переделывать и улучшать собственные системы, чтобы сделать себя умнее, и, возможно, жить в более прохладном корпусе. И, согласно предпосылке о временных масштабах, рекурсивное самоулучшение может произойти очень быстро.

Заключение: катастрофа!

Если принять эти предпосылки, мы приходим к катастрофе. В какой-то момент с увеличением скорости компьютеров и интеллекта программ произойдёт неконтролируемый процесс, похожий на взрыв.
Как только компьютер достигнет человеческого уровня интеллекта, ему уже не нужна будет помощь людей для разработки улучшенной версии себя. Он начнёт это делать гораздо быстрее, и не остановится, пока не дойдёт до естественного предела, который может оказаться во много раз большим, чем человеческий интеллект.
В этот момент это чудовищное разумное существо при помощи окольного моделирования работы наших эмоций и интеллекта сможет убедить нас сделать такие вещи, как дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах. И с этого момента всё очень быстро превратится в научную фантастику.
Давайте представим определённое развитие событий. Допустим, я хочу сделать робота, который говорит шутки. Я работаю с командой, и каждый день мы переделываем нашу программу, компилируем, а потом робот говорит нам шутку. Сначала робот практически не смешной. Он находится на низшем уровне человеческих возможностей.


Но мы упорно работаем над ним, и в итоге доходим до точки, где робот выдаёт шутки, которые уже начинают быть смешными:


На этом этапе робот становится ещё и умнее, и начинает участвовать в собственном улучшении. Теперь у него уже есть хорошее инстинктивное понимание того, что смешно, а что нет, поэтому разработчики прислушиваются к его советам. В итоге он достигает почти сверхчеловеческого уровня, на котором он оказывается смешнее любого человека из его окружения.


В этот момент начинается неуправляемый эффект. Исследователи уходят на выходные домой, а робот решает перекомпилировать сам себя, чтобы стать немного смешнее и немного умнее. Он проводит выходные за оптимизацией той его части, которая хорошо справляется с оптимизацией, снова и снова. Не нуждаясь более в помощи человека, он может делать это так быстро, как позволяет железо.
Когда исследователи в понедельник возвращаются, ИИ становится в десятки тысяч раз смешнее любого из живших на Земле людей. Он рассказывает им шутку, и они умирают от смеха. И любой, кто пытается поговорить с роботом, умирает от смеха, как в пародии от «Монти Пайтон». Человеческий род вымирает от смеха.
Нескольким людям, которые смогли передать ему сообщение с просьбой остановиться, ИИ объясняет (остроумным и самоуничижительным образом, что оказывается фатальным), что ему всё равно, выживут или умрут люди, его цель – просто быть смешным.
В итоге, уничтожив человечество, ИИ строит космическое корабли и наноракеты для изучения самых далёких уголков галактики и поисков других существ, которых можно развлечь.
Этот сценарий – карикатура на аргументы Бострома, поскольку я не пытаюсь убедить вас в его правдивости, а делаю вам от него прививку.


Комикс от PBF с той же идеей:
— Умилительно: обнимабот пытается встроить в свой обниматор ядерногравитационный гиперкристалл!
— …
— Время групповых обнимашек!
В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым. Без тщательной подстройки не будет причин для того, чтобы мотивация или ценности ИИ напоминали наши.
Аргумент утверждает, что для того, чтобы у искусственного разума было что-то напоминающее человеческую систему ценностей, нам нужно встроить это мировоззрение в его основы.
Алармисты от ИИ любят пример с максимизатором скрепок для бумаги – вымышленным компьютером, управляющим фабрикой по производству скрепок, который становится разумным, рекурсивно улучшает сам себя до богоподобных возможностей, а потом посвящает всю свою энергию на заполнение вселенной скрепками.
Он уничтожает человечество не потому, что злой, а потому, что в нашей крови есть железо, которое лучше использовать для изготовления скрепок. Поэтому, если мы просто создадим ИИ, не подстроив его ценности, утверждается в книге, то одна из первых вещей, которые он сделает – это уничтожит человечество.
Есть много красочных примеров того, как это может произойти. Ник Бостром представляет, как программа становится разумной, выжидает, тайно строит небольшие устройства для воспроизводства ДНК. Когда всё готово, то:


Вот уж жесть!
Единственный способ выбраться из этой передряги – разработать такую опорную моральную точку, чтобы даже после тысяч и тысяч циклов самосовершенствования система ценностей ИИ оставалась стабильной, и его ценностями были такие вещи, как «помогать людям», «никого не убивать», «слушать пожелания людей».
То есть, «делать то, что я имею в виду».
Вот весьма поэтический пример от Элиезера Юдковского, описывающий американские ценности, которым мы должны обучать наш ИИ:


Как вам такое ТЗ? А теперь давайте, пишите код.
Надеюсь, вы видите сходство данной идеи с джином из сказок. ИИ всемогущ и даёт вам то, что вы просите, но интерпретирует всё слишком буквально, в результате чего вы сожалеете о просьбе.
И не потому, что джин тупой (он сверхумный) или злонамеренный, а просто потому, что вы, как человек, сделали слишком много предположений по поводу поведения разума. Система ценностей человека уникальна, и её необходимо чётко определить и внедрить в «дружелюбную» машину.
Эта попытка – этический вариант попытки начала XX века по формализации математики и размещению её на жёстком логическом основании. Однако никто не говорит о том, что та попытка закончилась катастрофой.


Когда мне было немного за двадцать, я жил в Вермонте, в захолустном и деревенском штате. Часто я возвращался с деловых поездок вечерним самолётом, и мне нужно было ехать домой на машине сквозь тёмный лес в течение часа.
Я тогда слушал вечернюю программу по радио Art Bell – это было разговорное шоу, шедшее всю ночь, во время которого ведущие брали интервью у разных любителей теории заговора и людей с нестандартным мышлением. Домой я приезжал запуганным, или же останавливался под фонарём, под впечатлением, что меня скоро похитят инопланетяне. Тогда я обнаружил, что меня очень легко убедить. То же чувство я испытываю, читая подобные сценарии, связанные с ИИ.
Поэтому я испытал радость, обнаружив через несколько лет эссе Скота Александера, где он писал об эпистемологической выученной беспомощности.
Эпистемология – это одно из тех больших и сложных слов, но реально оно означает: «откуда вы знаете, что то, что вам известно, на самом деле правда?» Александер заметил, что будучи молодым человеком, он сильно увлекался разными «альтернативными» историями за авторством всяких безумцев. Он читал эти истории и полностью им верил, потом читал опровержение и верил ему, и так далее.
В какой-то момент он обнаружил три альтернативных истории, противоречивших друг другу, в результате чего они не могли быть правдивыми одновременно. Из этого он сделал вывод, что он просто был человеком, который не может доверять своим суждениям. Он был слишком легко убеждаемым.
Люди, верящие в сверхинтеллект, представляют интересный случай – многие из них удивительно умны. Они могут загнать вас своими аргументами в землю. Но верны ли их аргументы, или просто очень умные люди подвержены религиозным убеждениям по поводу риска, исходящего от ИИ, в результате чего их очень легко убедить? Является ли идея сверхинтеллекта имитацией угрозы?
Оценивая убедительные аргументы, касающиеся странной темы, можно выбрать две перспективы, внутреннюю и внешнюю.
Допустим, однажды у вас на пороге появляются люди в смешной одежде, спрашивающие вас, не хотите ли вы присоединиться к их движению. Они считают, что через два года Землю посетит НЛО, и что наша задача состоит в том, чтобы подготовить человечество к Великому Восхождению по Лучу.
Внутренняя перспектива требует увлечься обсуждением их аргументов. Вы спрашиваете посетителей, откуда они узнали об НЛО, почему они считают, что он направляется к нам, чтобы забрать нас – задаёте всякие нормальные вопросы, которые задал бы скептик в подобном случае.
Представьте, что вы часок поговорили с ними и они вас убедили. Они железно подтвердили скорое пришествие НЛО, необходимость подготовки к нему, и вы ещё ни во что не верили так сильно в своей жизни, как теперь верите в важность подготовки человечества к этому великому событию.
Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом.
Конечно, у них есть прекрасные аргументы, говорящие о том, почему вам следует игнорировать инстинкт, но это внутренняя перспектива. Внешней перспективе плевать на содержание, она видит форму и контекст, и результат ей не нравится.
Поэтому я хотел бы заняться риском ИИ с обеих перспектив. Я думаю, что аргументы в пользу сверхинтеллекта глупые и полны неподкреплённых предположений. Но если они покажутся вам убедительными, то с ИИ-алармизмом, как с культурным явлением, связано что-то неприятное, из-за чего мы должны неохотно относиться к нему серьёзно.
Сначала – несколько моих аргументов против бостромовского сверхинтеллекта, представляющего риск для человечества.

Аргумент против нечётких определений

Концепция «искусственного интеллекта общего назначения» (ИИОН) знаменита своей расплывчатостью. В зависимости от контекста это может означать возможность вести рассуждения на уровне человека, навыки разработки ИИ, возможность понимать и моделировать поведение людей, хорошее владение языком, способность делать правильные предсказания.
Мне кажется весьма подозрительной идея о том, что интеллект – это что-то вроде скорости процессора, то есть, что некое достаточно умное существо может эмулировать менее умных (типа своих создателей-людей) вне зависимости от сложности их умственной архитектуры.
Не имея возможности определить интеллект (кроме как указывая на себя), мы не можем знать, можно ли максимизировать эту величину. Может статься, что интеллект человеческого уровня – это компромисс. Возможно, существо, значительно более умное, чем человек, будет страдать от экзистенциального отчаяния или проводить всё время в самосозерцании наподобие Будды. Или оно окажется одержимым риском сверхинтеллекта и посвятит всё своё время написанию статей в блоги на эту тему.

Аргумент от кота Стивена Хокинга

Стивен Хокинг – один из умнейших людей своего времени, но, допустим, он захочет поместить своего кота в переноску. Как ему это сделать?
Он может смоделировать поведение кота у себя в уме и придумать способы убедить его в этом. Ему многое известно о поведении кошачьих. Но в итоге, если кошка не захочет лезть в переноску, Хокинг ничего не сможет сделать с этим, несмотря на подавляющее интеллектуальное преимущество. Даже если бы он посвятил всю свою карьеру мотивации и поведению кошачьих вместо теоретической физики, он всё равно не смог бы убедить кота.
Вы можете решить, что я говорю оскорбительные вещи или обманываю вас, поскольку Стивен Хокинг – инвалид. Но и ИИ изначально не будет иметь своего тела, он будет сидеть где-то на сервере, не имея представителя в физическом мире. Ему придётся разговаривать с людьми, чтобы получить то, что ему надо.
При наличии достаточно большого разрыва в интеллектах, гарантий того, что это существо сможет «думать, как человек», будет не больше, чем гарантий того, что мы сможем «думать, как кот».

Аргумент от кота Эйнштейна

Есть и более сильная версия этого аргумента, использующая кота Эйнштейна. Немногие знают, что Эйнштейн был крупным и мускулистым мужчиной. Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло.
Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.
Так что даже ИИ, имеющий тело, должен будет потрудиться, чтобы получить то, что ему нужно.

Аргумент от эму

Мы можем усилить этот аргумент. Даже группа людей, со всеми их хитростями и технологиями, может быть поставлена в тупик менее умными существами.
В 1930-х австралийцы решили уничтожить местную популяцию эму, чтобы помочь фермерам, оказавшимся в трудном положении. Они вывели моторизованные отряды военных на вооружённых пикапах, оснащённых пулемётами.


Эму применили классическую партизанскую тактику: избегали битв один на один, рассеивались, сливались с ландшафтом, что унижало и оскорбляло противника. И выиграли Войну с эму, от которой Австралия так и не оправилась.

Аргумент из славянского пессимизма

Мы ничего не можем правильно сделать. Мы даже не можем сделать безопасную веб-камеру. Так как мы решим этические проблемы и запрограммируем моральную опорную точку в рекурсивном самосовершенствующемся интеллекте, не облажавшись с этой задачей, в ситуации, в которой, по утверждению оппонентов, у нас есть единственный шанс?
Вспомните недавний опыт с Ethereum, попытку закодировать юриспруденцию в программах, когда в результате неудачно разработанной системы удалось похитить десятки миллионов долларов.
Время показало, что даже тщательно изученный и годами используемый код может таить в себе ошибки. Идея о том, что мы способны безопасно разработать самую сложную из когда-либо созданных систем, так, чтобы она оставалась безопасной после тысяч итераций рекурсивного самосовершенствования, не совпадает с нашим опытом.

Аргумент от сложных мотиваций

Алармисты от ИИ верят в Тезис ортогональности. Он утверждает, что даже у очень сложных существ может быть простая мотивация, как у максимизатора скрепок. С ним можно вести интересные и умные беседы о Шекспире, но он всё равно превратит ваше тело в скрепки, потому что в вас много железа. Нет способа убедить его выйти за пределы его системы ценностей, точно так же, как я не могу убедить вас в том, что ваша боль – это приятное ощущение.
Я совершенно не согласен с этим аргументом. У сложного разума, скорее всего, будет сложная мотивация; это, вероятно, может быть частью самого определения интеллекта.


В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?» Когда Рик объясняет, что его цель – приносить масло, робот смотрит на свои руки в экзистенциальном отчаянии.
Вполне вероятно, что страшный «максимизатор скрепок» будет проводить всё свое время, сочиняя поэмы о скрепках, или разводя флейм на reddit/r/paperclip, вместо того, чтобы пытаться уничтожить вселенную.
Если бы AdSense обрела разум, она бы закачала себя в компьютер робомобиля и съехала бы с обрыва.

Аргумент от реальных ИИ

Если посмотреть на области, в которых ИИ достигает успеха, то окажется, что это не сложные и рекурсивно улучшающие сами себя алгоритмы. Это результат вываливания ошеломляющих объёмов данных на относительно простые нейросети. Прорывы практических исследований ИИ держатся на доступности этих наборов данных, а не на революционных алгоритмах.
Google разворачивает свой Google Home, через который надеется запихнуть в систему ещё больше данных и создать голосового помощника нового поколения.
Особо отмечу, что конструкции, используемые в ИИ, после тренировки становятся достаточно непрозрачными. Они работают не так, как требуют сценарии с участием сверхинтеллекта. Нет возможности рекурсивно подстраивать их, чтобы они «улучшались», можно только тренировать их заново или добавлять ещё больше данных.

Аргумент моего соседа

Мой сосед по комнате был самым умным человеком из всех, что я встречал. Он был невероятно гениальным, но всё, чем он занимался – это валялся без дела и играл в World of Warcraft в перерывах между укуркой.
Предположение о том, что любое разумное существо захочит рекурсивно улучшаться, не говоря уже о том, чтобы захватить галактику для того, чтобы лучше достигать целей, основано на неоправданных предположениях о природе мотивации.
Вполне возможно, что ИИ вообще мало чем будет заниматься, кроме как использовать свои сверхвозможности по убеждению, чтобы мы таскали ему печеньки.

Аргумент от нейрохирургии

Я не мог бы выделить часть моего мозга, которая хорошо справляется с нейрохирургией, чтобы проводить над ней операции, и, повторяя этот процесс, сделать самого себя величайшим нейрохирургом из всех, живших когда-либо. Бен Карсон пытался это сделать, и посмотрите, куда его это привело [по-видимому, автор ставит Карсону в вину то, что тот был кандидатом на пост президента США 2016 года от республиканской партии, но выбыл и поддержал кандидатуру Дональда Трампа / прим. перев.]. Мозг так не работает. У него крайне высокая степень внутренней связности.
Степень внутренней связности ИИ может оказаться настолько же большой, как у природного интеллекта. Имеющиеся на данный момент свидетельства говорят в пользу этого. Однако жёсткий сценарий требует, чтобы у алгоритма ИИ была особенность, которую можно постоянно оптимизировать, чтобы у ИИ всё лучше получалось улучшать самого себя.

Аргумент от детства

Разумные существа не рождаются полностью готовыми. Они рождаются беспомощной хренью, и у нас уходит много времени на взаимодействие с миром и другими людьми в мире до тех пор, пока мы не начинаем становиться разумными. Даже умнейший человек появляется на свет беспомощным и рыдающим существом, и ему требуются годы на то, чтобы как-то научиться владеть собой.
Возможно, что в случае ИИ процесс может идти быстрее, но непонятно, насколько быстро. Взаимодействие со стимулами окружающего мира означает, что необходимо наблюдать за происходящим на временных отрезках порядка секунд или дольше.
Более того, у первого ИИ будет возможность взаимодействовать только с людьми – его развитие непременно будет идти на человеческих временных масштабах. В его существовании будет период, когда ему нужно будет взаимодействовать с миром, с людьми в мире и другими сверхразумами в младенческом состоянии, чтобы научиться быть собой.
Более того, судя по животным, период развития младенца увеличивается с увеличением интеллекта, поэтому нам придётся нянчиться с ИИ и менять ему условные подгузники десятилетия перед тем, как он обретёт достаточную координацию действий для того, чтобы поработить всех нас.

Аргумент от острова Гиллигана ([Американский ситком 1954 года о выживающих на необитаемом острове)

Непременный недостаток алармизма ИИ состоит в том, что к интеллекту относятся как к свойству отдельных разумов, не признавая, что его возможности распространяются по цивилизации и культуре. Несмотря на то, что среди потерпевших кораблекрушение на острове Гиллигана были умнейшие люди того времени, они не смогли поднять свой технологический уровень достаточно высоко, чтобы даже просто построить лодку (хотя однажды Профессору удалось сделать радио из кокосов).
Если сходным образом выбросить величайших разработчиков чипов из Intel на необитаемый остров, пройдут столетия до того, как они снова смогут начать делать микрочипы.

Внешние аргументы

В какого человека превратит вас искренняя вера в подобные аргументы? Ответ не очень приятен.
Сейчас я хотел бы поговорить о внешних аргументах, которые могут удержать вас от превращения в фаната ИИ. Они связаны с тем, как одержимость ИИ влияет на нашу промышленность и культуру.

Грандиозность

Если вы считаете, что ИИ позволит нам завоевать галактику (не говоря уже о симуляции триллионов разумов), у вас на руках окажутся пугающие цифры. Огромные цифры, умноженные на крохотные вероятности – визитная карточка алармизма ИИ.
Бостром в какой-то момент описывает то, что, по его мнению, поставлено на карту:
Если мы представим всё счастье, испытанное в течение одной жизни, в виде одной слезы радости, то счастье всех этих душ сможет заполнить и переполнить океаны Земли каждую секунду, и делать это на протяжении сотен миллиардов миллиардов тысячелетий. Очень важно, чтобы мы гарантировали, что эти слёзы были слезами радости.