Подведение итогов

• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.

• Если группа людей совладает с управлением этим интеллектуальным взрывом, то эти люди смогут в течение нескольких лет взять в свои руки власть над всем миром.

• Нынешние настойчивые попытки создать AGI в случае успеха могут иметь поразительно широкий спектр последствий, складывающихся в несколько типических сценариев на предстоящие тысячелетия.

• Сверхразум может мирно сосуществовать с людьми, либо потому, что принужден к этому (сценарий плененного бога), либо потому, что так хочет его «дружественный искусственный интеллект» (сценарии либертарианской утопии, бога-защитника, благодетельного диктатора или зоопарка).

• Создание сверхразума может быть предотвращено или искусственным интеллектом (сценарий стража), или людьми (сценарий 1984) путем намеренного забвения результатов технологического прогресса (сценарий возврата) или исключением стимулов к его созданию (сценарий эгалитарной утопии).

• Человечество может пойти по пути полного вымирания и либо оказаться замененным AGI (сценарии благодарных потомков и завоевателей), либо исчезнуть без следа (сценарий самоуничтожения).

• Нет абсолютно никакого согласия относительно того, какой из этих сценариев был бы для нас желательным, и вообще — есть ли такой среди них. У каждого сценария находятся свои отрицательные стороны. Тем более необходимо продолжать обсуждение наших будущих целей и углублять повестку такого обсуждения, разговор вокруг, чтобы мы случайно не двинулись в нежелательном направлении.