Модели, основанные на этических принципах

Модель КЭВ — не единственно возможная форма косвенной нормативности. Например, вместо моделирования когерентного экстраполированного волеизъявления человечества можно пойти иным путем. Разработать ИИ, цель которого будет состоять в том, чтобы выполнять только то, что правильно с этической точки зрения. Причем люди, прекрасно осознавая, насколько когнитивные способности ИИ превосходят их собственные, будут полагаться на его оценочные суждения, какие действия отвечают этому определению, а какие нет. Это можно назвать моделью моральной правоты (далее в тексте — МП). Мысль предельно простая. Человек не обладает абсолютными представлениями, что хорошо, а что плохо; еще хуже он разбирается в том, как лучшим образом проанализировать концепцию моральной правоты с философской точки зрения. Сверхразум в состоянии справиться с подобными проблемами лучше человека[508].

Но как быть, если мы не уверены в истинности концепции моральной правоты? Даже тогда можно попытаться использовать этот метод. Нужно лишь обязательно определить, как должен поступать ИИ в том случае, если выяснится, что его предположения о сути моральной правоты ошибочны. Например, можно указать следующее: если ИИ с довольно высокой вероятностью выяснит, что с концепцией моральной правоты не связано ни одной абсолютной истины, тогда он может вернуться к использованию метода КЭВ или просто отключиться[509].

По всей видимости, у метода МП есть несколько преимуществ по сравнению с методом КЭВ. В случае МП не важны различные свободные параметры метода КЭВ, в частности степень когерентности экстраполированных волеизъявлений, которая требуется для работы КЭВ, легкость, с которой большинство может взять верх над меньшинством, и природа социального окружения, в котором наши экстраполированные личности должны «стать ближе друг к другу». В этом случае, кажется, невозможна нравственная катастрофа в результате использования слишком узкой или слишком широкой базы экстраполяции. Более того, МП будет подталкивать ИИ к этически правильным действиям даже в том случае, когда наши когерентные экстраполированные волеизъявления могли бы вызвать недопустимые с точки зрения морали шаги ИИ. Однако в границах метода КЭВ — и мы говорили об этом — они вполне возможны. В человеческой природе высокие моральные качества, видимо, скорее являются редким металлом, их не встретишь в изобилии, и даже после того, как золото добыто и очищено в соответствии с методом КЭВ, никто не знает, что получится в результате — драгоценный металл, нейтральный шлак или токсичный осадок.

По всей видимости, метод МП тоже не лишен недостатков. Они основаны на чрезвычайно сложной концепции, вокруг которой ломают копья философы на протяжении многих веков, но в отношении которой так и не достигли согласия. Выбор ошибочного представления о моральной правоте может привести к очень негативным с этической точки зрения результатам. Казалось бы, эта сложность в определении моральной правоты может быть сильнейшим аргументом против использования метода. Однако пока неясно, насколько серьезным недостатком является эта особенность МП. В методе КЭВ тоже используются термины и концепции, которые не слишком легко определить (например, «знания», «быть в большей степени людьми, которыми нам хотелось бы быть», «стать ближе друг к другу»)[510]. Даже если терминологические единицы КЭВ чуть менее непрозрачны, они все-таки очень далеки от тех возможностей, которые сегодня есть у программистов, чтобы выразить все это в исходном коде[511]. Чтобы ИИ справился с любой подобной концепцией, ему нужно обладать хотя бы общими лингвистическими знаниями и способностями (сравнимыми с теми, которые есть у взрослого человека). Но такую общую способность понимать обычный язык можно использовать и для познания того, что означает «моральная правота». Если ИИ способен понять смысл, он выберет и действия, которые соответствуют этому значению. По мере продвижения в сторону сверхразума ИИ может прогрессировать в двух направлениях: в осознании значения моральной правоты с точки зрения философской проблемы и в решении практической задачи по применению этого понимания к оценке конкретных действий[512]. Хотя это и нелегко, но вряд ли труднее, чем моделирование когерентного экстраполированного волеизъявления человечества[513].

Более фундаментальная проблема МП заключается в другом. Даже будучи примененным, этот метод может не привести к нужному результату, то есть ИИ не остановится на том правильном варианте, который выбрали бы мы сами, если были бы такими же разумными и информированными, как он. Причем это не просто случайная ошибка, а существенный недостаток модели МП, к тому же чрезвычайно опасный для нас самих[514].

Можно попытаться сохранить основную идею МП и при этом снизить ее требовательность, сосредоточившись на моральной допустимости — идее о том, что можно сделать так, что ИИ будет действовать в соответствии с КЭВ человечества до тех пор, пока эти действия будут морально допустимыми. Например, возможна следующая цель ИИ:

Среди морально допустимых для ИИ действий выбирать те, которые соответствовали бы КЭВ человечества. Однако если какая-то часть этой инструкции определена не строго, или если есть серьезные сомнения в ее значении, или если концепция моральной правоты ложна, или если, создавая ИИ с этой целью, мы действовали морально недопустимо, тогда перейти к контролируемому отключению[515] Следовать значению этой инструкции, которое имелось в виду разработчиками.

Кого-то может по-прежнему беспокоить факт, что в модели моральной допустимости (далее по тексту — МД) отводится неоправданно большая роль требованиям этики. Но степень жертвы, которую придется принести, зависит от того, какая этическая теория является истинной[516]. Если предполагается этика, отвечающая принципу разумной достаточности, то есть удовлетворяющая в том смысле, что считает морально допустимыми любые действия, которые удовлетворяют нескольким моральным ограничениям, — тогда МП может предоставить нам большую свободу во влиянии нашего когерентного экстраполированного волеизъявления на действия ИИ. Если предполагается этика, отвечающая критерию доведения до максимума, то есть максимизирующая в том смысле, что морально допустимы лишь те действия, которые имеют наилучшие последствия с этической точки зрения, — тогда метод МД почти или совсем не оставляет возможности, чтобы наши предпочтения влияли на результаты работы ИИ.

Чтобы лучше разобраться в этом соображении, вернемся на минуту к нашему примеру гедонистического консеквенционализма. Предположим, что эта этическая теория верна и ИИ знает об этом. Для наших целей мы можем определить гедонистический консеквенционализм как утверждение, что действие является этически правильным (и морально допустимым) тогда и только тогда, когда среди всех возможных действий никакое другое не способно обеспечить больший баланс удовольствия и страданий. Тогда ИИ, работающий по методу МД, мог бы максимизировать удовольствие, превратив всю доступную ему часть Вселенной в особую субстанцию гедониум, другую особую субстанцию, компьютрониум, использовать для максимального расширения вычислений, которые обеспечат ощущения, приносящие абсолютное наслаждение. Даже если полная эмуляция головного мозга любого из живущих сейчас людей была бы осуществима, она все равно не стала бы самым эффективным способом, чтобы обеспечить весь мир получением удовольствия, — тогда получается, что все мы погибнем.

Таким образом, применяя метод МП или МД, мы столкнемся с риском отдать свои жизни ради чего-то лучшего. Это может оказаться слишком большой жертвой, чем кажется, поскольку мы потеряем не просто шанс жить обычной человеческой жизнью, но и возможность наслаждаться жизнью гораздо более длинной и наполненной, которую мог бы обеспечить дружественный сверхразум.

Эта жертва представляется еще менее привлекательной, когда понимаешь, что сверхразум мог бы получить почти столь же хороший результат, пожертвовав при этом гораздо меньшей долей нашего потенциального благополучия. Предположим, мы согласились бы допустить, что почти вся достижимая Вселенная превращается в гедониум, за исключением какой-то малой ее части, скажем, Млечного Пути, который мы оставим для своих нужд. Даже в таком случае можно будет использовать сотни миллиардов галактик для максимизации удовольствия. И при этом в нашей галактике на протяжении миллиардов лет существовали бы процветающие цивилизации, обитатели которых — и люди, и все другие создания — не просто выжили бы, но благоденствовали в своем постчеловеческом мире[517].

Если предпочитаешь этот последний вариант (как склонен предпочитать его я), вряд ли будешь настаивать на применении принципа моральной допустимости. Что, естественно, не отменяет значимости морали.

Даже с чисто этической точки зрения, возможно, лучше защищать метод, который не настолько требователен в отношении морали, как МП или МД. Если лучшие модели, но основанные на нравственном принципе, не имеют шансов быть использованными — возможно, из-за их чрезмерной требовательности, — может быть, было бы правильнее защищать другое предложение, пусть лишь приближенное к идеалу, но имеющее большие шансы быть примененным[518].