4. Фаза открытой реализации

Когда сверхразум настолько укрепит свои силы, что перестанет нуждаться в их сокрытии, — тогда наступит финальная фаза. С этого момента сверхразум начнет открыто добиваться собственных целей.

Фаза открытой реализации может начаться следующим образом: ИИ нанесет мощный удар по людям и автоматизированным интеллектуальным системам, специально созданным, чтобы противодействовать реализации его планов. Удар может быть произведен в виде приведения в действие отдельных видов новейшего вооружения, которые ИИ усовершенствовал, задействовав свою сверхмощь в области технологических разработок, и тайно развернул в фазе скрытой подготовки. Если для перевооружения были использованы био- и нанотехнологии самовоспроизведения, то для быстрого глобального удара будет достаточно применить микроскопический начальный запас, поскольку инициировать процесс можно при помощи единственного экземпляра. Чтобы обеспечить внезапность и одновременность операции, первоначальный арсенал лучше распределить по всему миру в чрезвычайно низкой, незаметной для глаза концентрации. В назначенное время на каждом квадратном метре земного шара одновременно запустятся нанофабрики по производству нервно-паралитического газа или роботов-убийц размером с комара (хотя машина, обладающая сверхмощью в области технологических разработок, способна изобрести и более эффективные способы убийства)[289]. Почему бы не представить такие сценарии, по которым сверхразум захватывает власть принципиально иным путем: устанавливает контроль над политическими процессами; незаметно манипулирует финансовыми рынками; перераспределяет информационные потоки и перехватывает управление системами вооружения, созданными в свое время людьми. Это позволит сверхразуму обойтись без создания новых видов оружия, хотя сам процесс завоевания власти может оказаться слишком медленным по сравнению с тем, когда машинный интеллект выстраивает собственную инфраструктуру при помощи роботов-манипуляторов, действующих со скоростью молекул или атомов, в отличие от медлительных человеческих умов и тел.

Можно допустить альтернативный вариант развития: сверхразум будет настолько уверен в собственной мощи и неуязвимости, что не станет воспринимать наш вид в качестве угрозы своему существованию, — таким образом, у человечества появляется шанс не превратиться в элементарную мишень и уйти из-под прямого удара. И в этом случае закат человеческой цивилизации неизбежен, но случится он по другой причине: будет разрушена наша среда обитания. Сверхразум начнет внедрять нанотехнологические фабрики и наноассемблеры, и в результате глобальных строительных проектов вся поверхность планеты быстро — буквально за считаные дни или недели — покроется солнечными батареями, ядерными реакторами, корпусами суперкомпьютеров с торчащими башнями охлаждения, стапелями для запуска космических кораблей и прочими сооружениями. При помощи этих средств сверхразум будет стремиться работать на перспективу, чтобы максимально упрочить совокупный эффект от воплощения своих ценностей. Если сверхразум сочтет, что человеческий головной мозг представляет с анатомической, физиологической и функциональной стороны некий интерес и несет в себе нужную информацию, отвечающую целям самого сверхразума, то этот орган будет извлечен, демонтирован, сканирован, а все полученные данные переведены в рациональные форматы для надежного хранения.

Один из таких возможных сценариев описан во врезке 6. Не следует заострять внимание на конкретных деталях — в любом случае они непостижимы и приведены лишь в качестве умозрительных примеров. Вполне можно представить, что сверхразум в состоянии разработать план достижения своих целей лучше любого человека — скорее всего, так и будет. В принципе, к подобным вещам следует относиться слегка отвлеченно. Поскольку нам ничего не известно о потенциальных возможностях сверхразума, мы в состоянии лишь прийти к заключению, что он, вероятно, начнет стремиться к такому перераспределению ресурсов планеты, которое доведет до максимальной степени реализацию его планов. Однако надо учитывать, что это выполнимо лишь при условиях, что рядом не появится соперник, равный ему по интеллекту, и что человечество заранее не предпримет продуманных и действенных мер по обеспечению своей безопасности. Любой предложенный нами конкретный сценарий в лучшем случае определит нижний предел допустимого развития событий: насколько быстро и эффективно сверхразум добьется своих целей. И всегда остается вероятность, что он предпочтет более короткий путь для воплощения собственных замыслов.

ВРЕЗКА 6. ДНК, ЗАКАЗАННАЯ ПО ПОЧТЕ

Элиезер Юдковский в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» описывает возможный сценарий захвата власти ИИ[290].

Решить задачу синтеза белка, получив возможность создавать цепочки ДНК, полипептидные цепи которых выполняют специфические функциональные роли в сложном химическом взаимодействии.

Отправить по электронной почте наборы цепочек ДНК в одну или несколько лабораторий, предлагающих услуги по синтезу ДНК, секвенированию пептидов и доставку результатов с помощью курьерской службы FedEx. (Сегодня многие лаборатории занимаются этим, причем часто готовы выполнить заказ в течение трех суток.)

Найти через интернет любого человека, которого можно подкупом, шантажом или обманом заставить получить заказ у FedEx, чтобы потом он смешал содержимое пробирок и поместил это содержимое в подходящую среду.

Синтезированные белки сформируют очень примитивную «влажную» наносистему, способную по аналогии с рибосомами выполнять внешние команды, передаваемые, например, посредством определенных акустических вибраций, идущих от направленного на колбу динамика.

Использовать эту чрезвычайно примитивную наносистему для создания более сложных систем, которые, в свою очередь, создадут еще более сложные системы, и так дойти до молекулярных нанотехнологий — или еще дальше.

Сверхразум применяет свою сверхмощь в области технологических разработок, чтобы решить проблему синтеза белка (первый шаг) и создать набор молекулярных «кирпичиков», из которых в водном растворе соберется простейший наноассемблер или микрофабрика (четвертый шаг). Та же самая технологическая сверхмощь снова используется, чтобы повысить уровень нанотехнологий с примитивного на продвинутый, машинный (пятый шаг). Остальные шаги требуют только человеческих интеллектуальных способностей. Содержание третьего шага: найти через интернет доверчивого человека и убедить его выполнить несколько простых действий — такое происходит во всем мире каждый день. Весь сценарий создан человеческим умом, поэтому даже уровень стратегического планирования системы может не превышать человеческий.

ИИ начинает действовать, имея свободный доступ к интернету. Если дело будет обстоять иначе, план следовало бы дополнить еще несколькими шагами. ИИ мог бы, например, воспользоваться своей сверхмощью в области социального манипулирования и убедить людей, которые с ним взаимодействуют, «отпустить» его на свободу. Или добиться этого самостоятельно благодаря умению взламывать системы. Если ИИ не успел овладеть такими способностями, то ему пришлось бы начать с применения своей сверхмощи в области совершенствования интеллекта, чтобы обрести сверхмощь в области социального манипулирования или взлома систем.

Вероятно, ИИ появится в мире, полностью охваченном глобальной компьютерной сетью. Но уже сегодня есть ряд новейших технологий, которые явно пригодятся будущему ИИ в его мировой сверхдержаве: облачные вычисления; сенсорные устройства с подключением к интернету; военные и гражданские беспилотники; автоматизация исследовательских лабораторий и производственных предприятий; электронные платежные системы и цифровые финансовые средства; автоматизированные системы анализа информации и системы принятия решений. Этот активный технологический багаж будущий ИИ приберет к рукам с дискретной скоростью, что явно поспособствует его восхождению к вершине власти (хотя новейшие разработки в области кибербезопасности могут несколько затруднить эту задачу). В конечном счете различия в сценариях вряд ли играют большую роль. Сила сверхразума — в его интеллекте, а не руках. Правда, ИИ все-таки не обойтись без помощников, привыкших взаимодействовать с этим материальным миром, — как показывает приведенный выше сценарий, для завершения фазы скрытой подготовки хватит даже единственной пары рук готового к сотрудничеству сообщника. После чего ИИ перейдет к фазе открытой реализации, в которой построит собственную инфраструктуру, где уже будут действовать самые разные роботы-манипуляторы.