Следует ли стимулировать исследования в области полной эмуляции головного мозга?

Чем труднее кажется проблема контроля в случае искусственного интеллекта, тем более соблазнительным представляется движение по пути создания имитационной модели мозга в качестве менее рискованной альтернативы. Однако есть некоторые сложности, которые стоит проанализировать, прежде чем делать окончательные выводы[554].

Прежде всего, это наличие технологических связок, которые мы уже обсуждали. Было отмечено, что усилия по созданию имитационной модели мозга могут привести к появлению нейроморфного ИИ, то есть особенно опасной формы машинного интеллекта.

Но на время допустим, что мы действительно добились своей цели и создали компьютерную имитационную модель головного мозга (далее по тексту — КИМГМ). Будет ли она безопаснее ИИ? Это сложный вопрос. У КИМГМ есть минимум три предполагаемых преимущества перед ИИ: 1) ее характеристики производительности легче понять; 2) ей внутренне присущи человеческие мотивы; 3) в случае ее первенства взлет будет медленным. Предлагаю коротко рассмотреть каждый фактор.

   1. То, что характеристики производительности КИМГМ понять легче, чем ИИ, звучит убедительно. У нас в изобилии информации о сильных и слабых сторонах человеческого интеллекта, но нет никаких знаний об ИИЧУ. Однако понимать, что может или не может делать оцифрованный моментальный снимок человеческого интеллекта, не то же самое, что понимать, как этот интеллект будет реагировать на изменения, направленные на повышение его производительности. В отличие от него, ИИ можно изначально тщательно проектировать таким образом, чтобы он был понятен как в статическом, так и в динамическом состоянии. Поэтому хотя интеллектуальная производительность КИМГМ может оказаться более предсказуемой на сравнимых стадиях их разработки, неясно, будет ли она динамически более предсказуемой, чем ИИ, созданный компетентными и озабоченными проблемой безопасности программистами.

   2. Нет никакой гарантии, что КИМГМ будет непременно присуща мотивация ее человеческого прототипа. Чтобы скопировать оценочные характеристики человеческой личности, может потребоваться слишком высокоточная модель. Даже если мотивационную систему отдельного человека удастся скопировать точно, неясно, насколько безопасным это окажется. Люди могут быть лживыми, эгоистичными и жестокими. И хотя можно надеяться, что прототип будет выбран за его исключительную добродетель, трудно спрогнозировать, как он станет действовать после переноса в совершенно чуждую ему среду, после повышения его интеллектуальных способностей до сверхчеловеческого уровня и с учетом возможности захватить господство над миром. Верно лишь то, что у КИМГМ будет более человекоподобная мотивация (они не станут ценить лишь скрепки или знаки после запятой в числе пи). В зависимости от ваших взглядов на человеческую природу это может как обнадеживать, так и разочаровывать[555].

   3. Неясно, почему технология полной эмуляции головного мозга может привести к более медленному взлету, чем технология разработки искусственного интеллекта. Возможно, в случае эмуляции мозга можно ожидать меньшего аппаратного навеса, поскольку она менее эффективна с вычислительной точки зрения, чем ИИ. Возможно, также, что ИИ способен легче превратить всю доступную ему вычислительную мощность в один гигантский интегрированный интеллект, в то время как КИМГМ будут предшествовать появлению сверхразума и опережать человечество лишь с точки зрения быстродействия и возможного количества копий. Если появление КИМГМ приведет к более медленному взлету, то дополнительным преимуществом будет ослабление проблемы контроля. Кроме того, более медленный взлет повысит вероятность многополярного исхода. Но настолько ли он желателен, этот многополярный мир, — большой вопрос.

Есть еще одно соображение, которое ставит под сомнение идею безопасности создания вначале технологии эмуляции головного мозга, — необходимость решать проблему второго перехода. Даже если первый машинный интеллект человеческого уровня будет создан в форме эмулятора, возможность появления искусственного интеллекта останется. ИИ в его зрелой форме обладает важными преимуществами по сравнению с КИМГМ, которые делают его несравнимо более мощной технологией[556]. Поскольку зрелый ИИ приведет к моральному устареванию КИМГМ (за исключением специальной задачи по консервации мозга отдельных людей), обратное движение вряд ли возможно.

Это означает следующее: если ИИ будет разработан первым, возможно, что у взрывного развития искусственного интеллекта будет всего одна волна; а если первым будет создана КИМГМ, таких волн может быть две. Первая — появление самой КИМГМ, вторая — появление ИИ. Совокупный экзистенциальный риск на пути КИМГМ–ИИ представляет собой сумму рисков, связанных с первым и вторым переходом (обусловленную успешным завершением первого), см. рис. 13[557].

Рис. 13. Что раньше, искусственный интеллект или компьютерная имитационная модель головного мозга? В сценарии «сначала КИМГМ» есть два перехода, связанных с риском, — вначале в результате создания КИМГМ, затем — ИИ. Совокупный экзистенциальный риск этого сценария представляет собой сумму рисков каждого перехода. Однако риск самого перехода к ИИ может быть ниже, когда это происходит в мире, где уже успешно работает КИМГМ.

Насколько более безопасным окажется переход к ИИ в мире КИМГМ? Одно из соображений заключается в том, что переход к ИИ мог бы быть менее взрывным, если случился бы уже после появления какой-то иной формы машинного интеллекта. Имитационные модели, работающие на цифровых скоростях и в количествах, далеко превосходящих население Земли, могли бы сократить когнитивный разрыв и легче контролировать ИИ. Впрочем, этому соображению не стоит придавать слишком большое значение, поскольку разрыв между ИИ и КИМГМ все-таки будет очень значительным. Однако если КИМГМ не просто быстрее и многочисленнее, но еще и качественно умнее людей (или как минимум не уступают лучшим представителям человечества), тогда у сценария с КИМГМ будут преимущества, аналогичные сценарию с когнитивным улучшением биологического мозга, который мы рассматривали выше.

Второе соображение касается ситуации конкуренции проектов, в этом случае при создании КИМГМ лидер может упрочить свое преимущество. Возьмем сценарий, в котором у лидирующего проекта по созданию КИМГМ есть шестимесячная фора по сравнению с ближайшим преследователем. Предположим, что первые работающие эмуляторы будут безопасными, терпеливыми и станут с готовностью сотрудничать с людьми. Если они работают на быстром оборудовании, то смогут потратить целую субъективную вечность в поисках ответа на вопрос, как создать безопасный ИИ. Например, если они работают на скоростях, в сто тысяч раз превышающих человеческие, и способны, не отвлекаясь, заниматься проблемой контроля в течение шести месяцев звездного времени, то смогут продвинуться в ее решении на пятьдесят тысяч лет дальше к тому моменту, когда столкнутся с конкуренцией со стороны эмуляторов, созданных в рамках проекта ближайшего конкурента. При наличии доступного аппаратного обеспечения они смогут еще ускорить свой прогресс, запустив миллиарды собственных копий независимо работать над различными подзадачами. А если лидирующий проект использует свое шестимесячное преимущество для формирования синглтона, то сможет купить своей команде по разработке ИИ неограниченное количество времени для решения проблемы контроля[558].

В целом возникает ощущение, что в случае, если КИМГМ появится раньше ИИ, риск перехода к ИИ может быть ниже. Однако если сложить остаточный риск перехода к ИИ с риском предшествующего ему перехода к КИМГМ, становится не столь понятно, как соотносится совокупный экзистенциальный риск сценария «сначала КИМГМ» с риском сценария «сначала ИИ». Получается, что если смотреть скептически на способность человечества управлять переходом к ИИ — приняв во внимание, что человеческая природа или цивилизация могут улучшиться к тому моменту, когда мы столкнемся с этим вызовом, — то сценарий «сначала КИМГМ» кажется более привлекательным.

Чтобы понять, следует ли продвигать идею создания технологии полной эмуляции головного мозга, нужно учесть еще несколько важных моментов.

Во-первых, следует помнить об уже упомянутой связке технологий: движение в сторону КИМГМ может привести к созданию нейроморфного ИИ. Это причина не настаивать на эмуляторах[559]. Несомненно, есть некоторые варианты синтетического ИИ, которые менее безопасны, чем некоторые нейроморфные варианты. Однако в среднем кажется, что нейроморфные системы более опасны. Одна из причин этого в том, что имитация может подменить собой знание. Чтобы построить нечто с нуля, обычно нужно сравнительно хорошо представлять, как будет работать система. Но в таком понимании нет нужды, если всего лишь копируешь какие-то свойства уже существующей системы. Полная эмуляция головного мозга полагается на масштабное копирование биологической системы, что не требует досконального понимания механизмов познания (хотя, без сомнения, понадобятся серьезные знания на уровне ее компонентов). В этом смысле нейроморфный ИИ может походить на КИМГМ: его можно получить путем плагиата различных элементов без необходимости того, чтобы инженеры имели глубокое математическое понимание принципов ее работы. Зато нейроморфный ИИ не будет похож на КИМГМ в другом аспекте — у него не будет по умолчанию человеческой системы мотивации[560]. Это соображение говорит против стремления двигаться по пути КИМГМ, если в результате может появиться нейроморфный ИИ.

Во-вторых, о чем нужно помнить: КИМГМ, скорее всего, подаст нам сигнал о своем скором появлении. В случае ИИ всегда есть возможность неожиданного концептуального прорыва. В отличие от него, для успеха эмуляции головного мозга требуется совершить множество трудоемких предварительных шагов: создать высокопроизводительные мощности для сканирования и программное обеспечение для обработки изображений, проработать алгоритм моделирования нейронной сети. Поэтому можно уверенно утверждать, что КИМГМ еще не на пороге (и не будет создан в ближайшие двадцать–тридцать лет). Это значит, что усилия по ускорению создания КИМГМ имеют значение лишь для тех сценариев, где машинный интеллект появляется сравнительно нескоро. Это делает инвестиции в КИМГМ привлекательными для тех, кто хотел бы, чтобы взрывное развитие интеллекта исключило другие экзистенциальные риски, но опасается поддерживать разработку ИИ из страха, что этот взрыв произойдет преждевременно, до того как будет решена проблема контроля. Однако, похоже, неопределенность относительно сроков этих событий настолько велика, что не стоит придавать этому соображению слишком большой вес[561].

Поэтому стратегия поддержки КИМГМ более привлекательна, если: 1) вы с пессимизмом смотрите на способность людей решить проблему контроля над ИИ; 2) не слишком беспокоитесь по поводу нейроморфного ИИ, многополярных исходов и рисков второго перехода; 3) думаете, что КИМГМ и ИИ будут созданы довольно скоро; 4) предпочитаете, чтобы сверхразум появился не слишком рано и не слишком поздно.