Страх перед искусственным интеллектом давно укоренился в массовой культуре. Лучшие умы человечества, от Стивена Хокинга до Илона Маска, говорили об экзистенциальной угрозе цифрового разума человечеству.

Профессор Калифорнийского университета в Беркли Стюарт Рассел тоже о ней говорит, но в его видении будущего нет злых роботов, восстающих против господства людей.

По версии Рассела, машины в какой-то момент просто станут настолько эффективными, что уничтожат нас, выполняя задания, которые мы же им и дали.

Рассел - эксперт по машинному обучению и автор книги "Совместимость с человеком: ИИ и проблема контроля" ( "Human Compatible: AI and the Problem of Control").

"Традиционный голливудский сюжет: машины спонтанным образом обретут сознание, а потом решат, что ненавидят людей и захотят всех убить", - замечает профессор Рассел.

Но это, по его мнению, неправильное видение робоапокалипсиса, ведь у машин нет человеческих эмоций.

"Нам нужно беспокоиться не о самосознании злых машин, а о компетентности машин, которые выполняют поставленные нами задачи", - убежден ученый.

"Слишком компетентны"

В интервью программе BBC Today профессор Рассел описал гипотетическую ситуацию, в которой существованию человечества может угрожать искусственный интеллект.


Представьте, что существует сверхмощный искусственный интеллект, который может контролировать климат на планете. Ему ставят задачу вернуть уровни углекислого газа в атмосфере на доиндустриальный уровень.

"Система сочтет, что самый эффективный способ это сделать - уничтожить людей. Это же они производят углекислый газ", - говорит профессор.

"Это можно обойти, например, поставив ей условие не избавляться от людей. Что тогда сделает система? Она будет делать так, чтобы рождалось все меньше и меньше детей, пока люди не исчезнут вовсе".

Это пример того, к чему может привести работа искусственного интеллекта по непродуманным инструкциям человека.

Сверхинтеллект

Существующие сегодня системы ИИ имеют узко направленное применение. Они созданы для решения четко обозначенных проблем в какой-то одной сфере, говорят ученые Центра изучения экзистенциальных рисков Кембриджского университета.

Триумфальным моментом для этой философии ИИ была победа компьютера "Дип Блю" над действующим чемпионом мира по шахматам Гарри Каспаровым в 1997 году.


Но "Дип Блю" был создан исключительно для игры в шахматы. В шашки он проиграл бы и пятикласснику.

Последние достижения в сфере искусственного интеллекта принесли нам совсем другие программы.

Например, программа AlphaGo Zero обучилась игре в го самостоятельно, не используя данные о прошлых играх, сыгранных людьми, и всего за три дня игры с собой вышла на недостижимый для обычного человека уровень.

При создании AlphaGo Zero применялись алгоритмы глубинного обучения. Это значит, что для разработки программы потребовалось сравнительно мало человеческой работы.

При этом AlphaGo Zero умеет хорошо играть и в шахматы, и в сёги.

Напомним, что программа полностью самообучаема. У кого-то это может вызвать опасения.

"По мере того, как ИИ становится мощнее и универсальней, появляется риск, что он станет сверхразумным, то есть превзойдет человека во многих или во всех сферах", - говорят в Центре изучения экзистенциальных рисков.

"Мы не знаем, что хотим"

Профессор Рассел считает, что просто ставить перед ИИ предельно конкретные задачи - это не выход из положения, потому что люди сами не в состоянии их достаточно хорошо формулировать.


"Мы не понимаем, что нам что-то не нравится, пока это не происходит", - говорит он.

"Нам нужно изменить сам базовый подход к созданию ИИ-систем", - добавляет профессор. Он считает, что давать роботам задание, которое они затем выполняют - вообще в корне не верно.

"Система должна понимать, что цель ей непонятна. - говорит он. - Когда создаются такие системы, они действительно зависят от человека. Они начинают спрашивать разрешения перед тем, как что-то сделать, потому что не уверены, хотите ли вы этого".

И что самое важное, говорит профессор, они не будут сопротивляться, если вы решите их выключить, потому что они созданы таким образом, чтобы не делать того, что вам не нравится.

Лампа Аладдина

ИИ сегодня создают так, как будто это джин из лампы, говорит профессор Рассел. Вы трете лампу и говорите: "Хочу, чтобы произошло то-то и то-то".

И если искусственный интеллект достаточно мощный, то он сделает именно то, что вы попросите.


"Проблема с джином в том, что третье желание всегда - отменить два первых, потому что человек неправильно их сформулировал".

"Машина, которая преследует неверную цель, становится де факто врагом человечества, и этот враг гораздо сильнее нас", - заключает ученый.Источник: BBC