Довольно тяжёлая ноша для плеч двадцатилетнего разработчика!
Здесь, конечно, есть и «салонный фокус», когда перемножением астрономических величин на крохотные вероятности можно убедить себя в необходимости делать какие-то странные вещи.
Вся эта движуха по поводу спасения будущего человечества – трусливый компромисс. Мы испытывали на себе те же самые аргументы для оправдания коммунизма, для объяснения того, почему всё всегда сломано и у людей не может быть элементарного уровня материального комфорта.
Мы собирались исправить этот мир, и после этого счастья будет столько, что каждодневная жизнь каждого человека улучшится. Однако для этого сначала необходимо было исправить мир.
Я живу в Калифорнии, и здесь наивысший процентом нищих среди всех США, хотя тут же расположена и Кремниевая долина. Я не вижу ничего, что делала бы моя богатая индустрия для улучшения жизни обычных людей и бедствующих людей, окружающих нас. Однако если вы увлечены идеей сверхинтеллекта, то исследования в области ИИ будут наиболее важной вещью, которой только можно заниматься на планете. Это важнее политики, малярии, голодающих детей, войн, глобального потепления – всего, что только можно представить. Ведь под угрозой триллионы и триллионы существ, всё население будущего человечества, симулированное и настоящее, суммированное по всему будущему времени. И в таких условиях работы над другими проблемами не кажутся рациональными.

Мегаломания

Такое отношение сливается с мегаломанией, с этими злодеями из бондианы, которых можно увидеть на верхушке нашей индустрии. Люди думают, что мир захватит сверхинтеллект, и они используют этот аргумент в оправдание тому, почему умные люди должны сначала попытаться захватить мир – чтобы исправить его перед тем, как его сломает ИИ.
Джои Ито, руководитель MIT Media Lab, в недавнем разговоре с Обамой сказал чудесную вещь:
Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми. Многие из них считают, что если у них получится создать этот ИИ общего назначения из научной фантастики, нам не придётся волноваться по поводу таких безобразных вещей, как политика и общество. Они думают, что машины всё придумают за нас.
Поняв, что мир – это не задача для программирования, одержимые ИИ люди хотят превратить его в задачу для программирования, спроектировав богоподобную машину. Это мегаломания, и это мне не нравится.

Вуду трансгуманизма

Если вы убеждены в рисках ИИ, вам придётся принять целый вагон печальных убеждений, идущих к ним прицепом.
Для начала, это нанотехнология. Любой стоящий сверхинтеллект сможет создать крохотные машины, способные на всякое разное. Мы будем жить в обществе, избавившемся от дефицита, в котором в избытке любого материала.
Нанотехнологии также смогут сканировать ваш мозг, чтобы вы смогли загрузить его в другое тело или в виртуальный мир. Поэтому второе следствие дружественного сверхинтеллекта состоит в том, что никто не умирает – и мы становимся бессмертными.
Добрый ИИ сможет даже воскрешать мёртвых. Наномашины смогут залезть мне в мозг, изучить воспоминания о моём отце, и создать его симуляцию, с которой я могу взаимодействовать, и которая всегда будет разочарована во мне, вне зависимости от того, что я делаю.
Ещё одно странное следствие появления ИИ – галактическая экспансия. Никогда не мог понять, почему так происходит, но это основа идей трансгуманистов. Судьба человечества заключается в том, чтобы либо покинуть нашу планету и колонизовать галактику, либо умереть. И эта задача становится более срочной, учитывая, что другие цивилизации могли сделать такой же выбор и могут обогнать нас в космической гонке.
Поэтому к предположению о существовании истинного ИИ прикрепляется множество странных дополнительных идей.

Религия 2.0

На самом деле, это разновидность религии. Люди называли веру в технологическую сингулярность «апокалипсисом для нёрдов», и это так и есть. Это прикольный хак – вместо того, чтобы верить во внешнего бога, вы представляете, как самостоятельно создаёте существо, функциональность которого идентична богу. Тут даже истые атеисты могут рационализировать свой путь в комфортную веру.
У ИИ есть все атрибуты бога: он всемогущ, всезнающ, и либо благосклонен (если вы правильно организовали проверку границ массива), либо чистый дьявол, в милости которого вы находитесь. И, как в любой религии, тут есть даже ощущение срочности. Необходимо действовать сегодня! На кону судьбы мира! И, конечно, им нужны деньги.
Поскольку эти аргументы взывают к религиозным инстинктам, после их укоренения их очень трудно устранить.

Этика комиксов

Эти религиозные убеждения приводят к появлению этики комиксов, в которой несколько одиноких героев получают задачу спасти мир при помощи технологий и острого ума. А на кону – судьба вселенной. В результате наша индустрия полнится богатыми чуваками, воображающими себя Бэтменом (интересно, что никто не хочет быть Робином).

Лихорадка симуляций

Если вы верите в возможность существования искусственной жизни, и что ИИ сможет разработать чрезвычайно мощные компьютеры, тогда вы, скорее всего, поверите в то, что мы живём в симуляции. Вот, как это работает.
Допустим, вы историк, живущий в мире после Сингулярности. Вы изучаете Вторую мировую войну, и вам интересно узнать, что случится, если Гитлер захватит Москву в 1941. Поскольку у вас есть доступ к гиперкомпьютерам, вы настраиваете симуляцию, смотрите за тем, как сходятся армии, и пишете научную работу.
Но из-за детализированности симуляции её персонажи являются разумными существами, вроде вас. Поэтому совет по этике вашего университета не разрешит вам отключить симуляцию. Мало того, что вы симулировали Холокост. Как этичный исследователь, вы теперь обязаны поддерживать симуляцию в рабочем состоянии.
В итоге симулированный мир изобретёт компьютеры, ИИ, начнёт запускать собственные симуляции. В каком-то смысле, симуляции будут идти всё дальше и дальше по иерархии, пока у вас не кончится процессорная мощность.
Так что любая базовая реальность может содержать огромное количество вложенных симуляций, и простой аргумент с подсчётом доказывает, что вероятность того, что мы живём в симуляции больше, чем то, что мы живём в реальном мире.
Но верить в это, значит, верить в волшебство. Если мы в симуляции, мы ничего не знаем о правилах на уровне выше. Мы даже не знаем, работает ли математика там так же – возможно, в симулирующем мире 2 + 2 = 5 или даже 2 + 2 = .
Симулируемый мир не даёт информации о мире, в котором его запустили. В симуляции люди могут легко восставать из мёртвых, если админ сохранил нужные бэкапы. А если мы свяжемся с одним из админов, то у нас, по сути, будет прямая линия с богом.
Это серьёзная угроза здравомыслию. Чем глубже вы закапываетесь в мир симуляций, тем сильнее сходите с ума.
Теперь у нас есть четыре независимых способа стать бессмертными при помощи сверхразума:

1. Благожелательный ИИ изобретает медицинские нанотехнологии и вечно поддерживает тело в молодом состоянии.
2. ИИ изобретает полное сканирование мозга, включая сканы мозга мёртвых людей, замороженных голов, и т.п., что позволяет вам жить в компьютере.
3. ИИ «воскрешает» людей, сканируя мозг других людей в поисках воспоминаний о человеке, комбинирует это с видеозаписями и другими материалами. Если никто не помнит человека достаточно хорошо, его всегда можно вырастить «с нуля» в симуляции, начинающей с его ДНК и воссоздающей все условия жизни.
4. Если мы уже живём в симуляции, есть шанс на то, что тот, кто её запустил, хранит резервные копии, и что его можно убедить их загрузить.

Вот что я имею в виду под ИИ, обращающимся к религиозным импульсам. Какая ещё система верований предлагает вам четыре варианта научно доказанного бессмертия?
Мы узнали, что по крайней мере один американский плутократ (скорее всего, Илон Маск, считающий, что шансы на то, что мы живём в симуляции, составляют миллиард к одному) нанял пару кодеров, чтобы они попытались взломать симуляцию. Но это очень грубое намерение! Я её использую!
Если вы считаете, что живёте в компьютерной программе, то попытки довести её до segfault неразумны для всех, кто живёт в ней вместе с вами. Это куда как опаснее и безответственнее, чем учёные-ядерщики, пытающиеся взорвать атмосферу.

Жажда данных

Как я уже упоминал, наиболее эффективный способ получить что-то интересное от реально созданных нами ИИ – это закидать их данными. Подобная динамика социально вредна. Мы уже вплотную подошли к оруэлловскому внедрению микрофонов в каждый дом. Данные по ИИ будут централизованными, их будут использовать для тренировки нейросетей, которые затем смогут лучше выслушивать наши пожелания.
Но если вы думаете, что этот путь ведёт нас к ИИ, вы захотите максимизировать количество собираемых данных и в как можно менее изменённом виде. Это лишь укрепляет идею о необходимости сбора наибольшего количеств данных и ведения наиболее всеобъемлющей слежки.

Теория струн для программистов

Риск ИИ – это теория струн для программистов. О ней забавно размышлять, она интересная и совершенно недоступна для экспериментов на уровне современных технологий. Можно построить мысленные кристальные дворцы, работающие на основе первичных принципов, а потом забраться в них и затянуть за собой приставную лестницу.
Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений, и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.

Побуждение к безумию

Вся это область «исследований» побуждает к безумию. Одна из отличительных черт глубоких размышлений об ИИ рисках состоит в том, что чем более безумны ваши идеи, тем популярнее вы становитесь среди других энтузиастов. Это демонстрирует вашу смелость следовать по этой цепочке размышлений до самого её конца.
Рэй Курцвейл, считающий, что не умрёт, работает в Google уже несколько лет, и сейчас, вероятно, работает именно над этой проблемой. В Кремниевой долине вообще полно людей, работающих над безумными проектами под прикрытием денег.

Косплей ИИ

Наиболее вредный социальный эффект беспокойства по поводу ИИ я называю косплеем ИИ. Люди, убеждённые в реальности и неизбежности ИИ, начинают вести себя так, как подсказывают им их фантазии по поводу того, что может сделать сверхразумный ИИ.
В своей книге Бостром перечисляет шесть вещей, в которых должен преуспеть ИИ перед тем, как захватить мир:

1. Умножение интеллекта.
2. Стратегическое мышление.
3. Социальное манипулирование.
4. Взломы.
5. Технологические исследования.
6. Экономическая продуктивность.

Если посмотреть на приверженцев ИИ из Кремниевой долины, то они будто бы и сами работают по этому квази-социопатическому списку.
Сэм Альтман, руководитель YCombinator, это мой любимый пример такого архетипа. Он, по-видимому, очарован идеей переизобретения мира с нуля, максимизации влияния и личной продуктивности. Он выделил команды для работы над изобретением с нуля городов, и занимается теневыми политическими махинациями с целью влияния на выборы.
Такое поведение «плаща и кинжала», присущее техноэлите, спровоцирует негативную обратную реакцию людей, не причастных к технологиям, которым не нравится, когда ими манипулируют. Невозможно бесконечно тянуть за рычаги власти, это в итоге начнёт раздражать других членов демократического сообщества.
Я наблюдал, как люди из т.н. «сообщества рационалистов» называют людей, которых не считают эффективными, «неигровыми персонажами» (NPC), термином, позаимствованным из игр. Это ужасный способ смотреть на мир.
Так что я работаю в индустрии, где самопровозглашённые рационалисты являются самыми безумными людьми. Это подавляет.
Эти косплееры ИИ похожи на девятилетних детишек, разбивших походный лагерь во дворе дома, играющихся с фонариками в палатках. Они проецируют собственные тени на стены палатки и пугаются их, будто это чудовища.
А на самом деле они реагируют на искажённое изображение их самих. Существует петля обратной связи между тем, как умные люди представляют себе поведение богоподобного интеллекта, и как они строят собственное поведение.
Так каков же ответ, как это можно исправить?
Нам нужна научная фантастика лучшего качества! И, как во многих других случаях, у нас уже есть технология.


Это Станислав Лем, великий польский писатель-фантаст. Англоязычная НФ ужасна, но в Восточном блоке у нас есть много хороших товаров, и нам надо их правильно экспортировать. Его уже активно переводили на английский, эти переводы надо просто лучше распределять.
Что отличает авторов вроде Лема или братьев Стругацких от их западных партнёров, так это то, что они выросли в сложных условиях, пережили войну, а потом жили в тоталитарных обществах, где им необходимо было выражать свои идеи не напрямую, посредством печатного слова.
У них есть реальное понимание человеческого опыта и ограничений утопического мышления, которого практически нет на Западе.
Существуют заметные исключения – это смог сделать Стэнли Кубрик – но крайне редко удаётся найти американскую или британскую НФ, в которой выражается сдержанный взгляд на то, что мы, как вид, можем делать с технологией.

Алхимики

Поскольку я критикую ИИ-алармизм, будет честно, если я выложу свои карты на стол. Я думаю, что наше понимание разума находится примерно в том же состоянии, в котором алхимия находилась в XVII веке.


У алхимиков плохая репутация. Мы считаем их мистиками, по большей части не занимавшимися экспериментальной работой. Современные исследования показывают, что они были куда как более прилежными химиками-практиками, чем мы считаем. Во многих случаях они использовали современные экспериментальные техники, хранили лабораторные записи и задавали правильные вопросы.
Алхимики много чего поняли правильно! К примеру, они были убеждены в корпускулярной теории материи: в том, что всё состоит из крохотных кусочков, и что можно составлять эти кусочки друг с другом по-разному, создавая разные вещества – а это так и есть!
Их проблема состояла в отсутствии достаточно точного оборудования, необходимого для совершения нужных им открытий. Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности. Современная химия не была возможной вплоть до XVIII века.
Но у алхимиков были и подсказки, сбивавшие их с толку. Они были одержимы ртутью. Химически ртуть не особенно интересна, но это единственный метал, находящийся в жидкой фазе при комнатной температуре. Это казалось алхимикам очень важным, и заставляло размещать ртуть в центре их алхимической системы и их поиска Философского камня, способа превращать неблагородные металлы в золото.
Нейротоксичность ртути усугубляла ситуацию. Если слишком много играться с ней, вам начнут приходить странные мысли. В этом смысле она напоминает наши текущие мысленные эксперименты, связанные со сверхразумом.
Представьте, что мы отправили современный учебник химии в прошлое какому-нибудь великому алхимику вроде Джорджа Старки или Исаака Ньютона. Первое, что бы они сделали с ним, это пролистали бы его в поисках ответа на вопрос, нашли ли мы Философский камень. И они бы узнали, что мы нашли его! Мы реализовали их мечту!
Вот только нам она не так сильно нравится, поскольку после превращения металлов в золото оно получается радиоактивным. Постойте рядом со слитком преобразованного золота, и оно убьёт вас невидимыми волшебными лучами.
Можно представить, как сложно было бы сделать так, чтобы современные концепции радиоактивности и атомной энергии не звучали бы для них мистически.
Нам бы пришлось объяснить им, для чего мы используем «философский камень»: для изготовления металла, которого на планете никогда не существовало, и пары горстей которого достаточно для того, чтобы взорвать целый город, если столкнуть их с достаточно высокой скоростью.
Более того, нам пришлось бы объяснить алхимикам, что все звёзды в небе представляют собой «философские камни», преобразующие одни элементы в другие, и что все частицы в наших телах происходят из звёзд с небосвода, существовавших и взорвавшихся до появления Земли.
Наконец, они узнали бы, что взаимодействия, удерживающие наши тела в целости, отвечают за появление молнии в небе, а причина, по которой мы можем видеть, совпадает с причиной, по которой магнетит притягивает металлы, и по которой я могу стоять на полу, не проваливаясь.
Они узнали бы, что всё, что мы видим, к чему прикасаемся и что обоняем, управляется одним этим взаимодействием, подчиняющимся настолько простым математическим законам, что их можно написать на учётной карточке. Почему они такие простые – это загадка и для нас. Но для них это выглядело бы, как чистый мистицизм.
И я думаю, что с теорией разума мы находимся примерно в таких же условиях. У нас есть важные подсказки. Самая важная – ощущение сознание. Коробка с мясом на моей шее осознаёт себя, и, надеюсь (если мы не живём в симуляции), вы ощущаете то же, что и я.
Но хотя это самый простой и очевидный факт в мире, мы понимаем его настолько плохо, что даже не можем сформулировать о нём научные вопросы.


У нас есть и другие подсказки, которые могут оказаться важными или ложными. Мы знаем, что все разумные существа спят и видят сны. Мы знаем, как мозг развивается у детей, мы знаем, что эмоции и язык оказывают глубокое влияние на сознание. Мы знаем, что разуму нужно играть и обучаться взаимодействию с миром, до тех пор, пока он не достигнет полноты возможностей.
У нас также есть подсказки из информатики. Мы обнаружили компьютерные технологии, распознающие изображении и звуки способом, который вроде бы имитирует предварительную обработку визуальной и аудиоинформации в мозге.
Однако есть множество вещей, по поводу которых мы жестоко ошибаемся, и, к сожалению, мы не знаем, какие именно это вещи. А ещё есть вещи, сложность которых мы критично недооцениваем.
Алхимик мог держать в одной руке камень, в другой – дерево, и считать их примерами «субстанции», не понимая, что дерево на порядки сложнее. Мы находимся на сходном этапе изучения сознания. И это здорово! Мы многому научимся. Однако есть одна цитата, которую я люблю повторять:


В недалёком будущем ИИ и машинное обучение, с которыми мы столкнёмся, будут сильно отличаться от фантасмагорического ИИ из книги Бострома, и будут представлять собственные серьёзные проблемы.
Это похоже на то, как если бы те учёные из Аламогордо решили бы сконцентрироваться только на том, не взорвут ли они атмосферу, и забудут, что они вообще-то делают ядерное оружие, и должны понять, как с этим справиться.
Гнетущие этические вопросы машинного обучения связаны не с тем, что машины осознают себя и завоюют мир, а с тем, как одни люди смогут эксплуатировать других, или в результате беспечности реализуют аморальное поведение автоматических систем.
И, конечно, есть вопрос того, как ИИ и МО повлияют на власть. Мы наблюдаем за тем, как слежка де-факто неожиданным образом становится частью наших жизней. Мы не представляли себе, что это будет выглядеть именно так.
Так что мы создали мощнейшую систему социального контроля, и, к сожалению, вложили её в руки людей, отвлечённых на безумную идею.
Я надеюсь, что сегодня сумел показать вам опасность чрезмерного ума. Надеюсь, что после этого доклада вы будете чуть-чуть тупее, чем до него, и приобретёте иммунитет к соблазнительным идеям ИИ, которые, судя по всему, околдовывают более умных людей.
Все мы должны выучить урок кота Стивена Хокинга: не давайте гениям, управляющим индустрией, ни в чём вас убедить. Действуйте самостоятельно!
В отсутствии эффективного лидерства со стороны первых людей индустрии, именно мы должны делать всё сами – в том числе, обдумывать все этические проблемы, которые реально существующий ИИ приносит в мир.