Все лучшее в человеческой природе — шаг вперед!

Перед лицом перспективы взрывного развития интеллекта мы похожи на детей, играющих с бомбой. Именно таков разрыв между мощностью нашей игрушки и незрелостью нашего поведения. Сверхразум — это вызов, ответить на который мы не готовы сегодня, и не будем готовы еще долгое время. Мы понятия не имеем, когда произойдет детонация, хотя если поднести устройство к уху, уже можно услышать тихое тиканье.

Ребенку с тикающей бомбой в руках правильнее всего осторожно положить ее на пол, быстро выбежать из комнаты и обратиться к ближайшему взрослому. Впрочем, в нашем случае ребенок не один, нас много, и у каждого в руках свой взрыватель. Шансы на то, что все обладают достаточным здравым смыслом, чтобы аккуратно поместить опасный предмет в безопасное место, ничтожны. Какой-нибудь маленький идиот обязательно нажмет красную кнопку просто из любопытства.

Убежать мы тоже не можем, поскольку взрывное развитие искусственного интеллекта обрушит сам небесный свод. Да и взрослых в поле зрения нет.

В такой ситуации проявлять восторженное любопытство было бы неуместным. Более подходящими чувствами были бы озабоченность и страх, а самое правильное поведение — горькая решимость стать настолько компетентными, насколько это возможно, как при подготовке к экзамену, который или позволит исполнить наши мечты, или разрушит их.

Никто не призывает к фанатизму. Возможно, что до взрыва остается еще много десятков лет. Более того, отчасти вызов, с которым мы столкнулись, состоит в необходимости оставаться людьми — практичными, здравомыслящими, добропорядочными и оптимистичными, — даже оказавшись в когтях этой совершенно неестественной и нечеловеческой проблемы. И чтобы найти ее решение, нам придется использовать всю присущую людям изобретательность.

И все-таки давайте не терять из виду самое главное. Сквозь пелену сиюминутных мелочей уже проступают — пока смутные — контуры главной задачи нашей эпохи. В этой книге мы попытались рассмотреть некоторые ее аспекты и приблизились к пониманию того, что высший этический приоритет (как минимум с объективной и секулярной точки зрения) имеют такие вопросы, как снижение экзистенциального риска и выход на цивилизационную траекторию, которая ведет к лучшему исходу — на благо всего человечества.