О пользе сотрудничества

Итак, сотрудничество дает много полезного. Оно избавляет от спешки при разработке машинного интеллекта. Позволяет больше вкладывать в безопасность. Избегать насильственных конфликтов. И облегчает обмен идеями в вопросах контроля. К этим преимуществам можно добавить еще одно: сотрудничество, скорее всего, приведет к такому исходу, в котором благоприятный эффект от контролируемого взрывного развития интеллекта будет распределен более равномерно.

Расширение сотрудничества приводит к более широкому распределению благ, но это не столь очевидно, как кажется. В принципе, небольшой проект под управлением альтруиста тоже может привести к исходу, в котором блага будут распределены равномерно или справедливо между всеми обладающими моральным статусом существами. Тем не менее есть несколько причин полагать, что более широкое сотрудничество, включая большее количество инвесторов, будет лучше (как ожидается) с точки зрения распределения результатов. Одна из причин заключается в том, что инвесторы предположительно предпочитают исход, в котором они сами получают справедливую долю. Тогда более широкое сотрудничество означает, что сравнительно много людей получат как минимум свою справедливую долю в случае успешного завершения проекта. Другая причина заключается в том, что более широкое сотрудничество выгодно даже людям, не имеющим непосредственного отношения к проекту. Чем шире сотрудничество, тем больше людей в него вовлечено и тем больше людей вне проекта связано с ними и может рассчитывать на то, что участники проекта учтут их интересы. Кроме того, чем шире сотрудничество, тем больше вероятность, что к нему будут привлечены как минимум несколько альтруистов, стремящихся действовать на благо всех. Более того, такой проект с большей вероятностью будет объектом общественного контроля, что снизит риск присвоения всего пирога кликой программистов или частных инвесторов[570]. Заметьте также, что чем шире сотрудничество в работе над успешным проектом, тем ниже его издержки на распределение выгод среди людей, не имеющих к нему прямого отношения. (Например, если 90 процентов всех людей уже вовлечены в сотрудничество, то поднять всех остальных до своего уровня им будет стоить не больше 10 процентов их доли.)

Поэтому вполне возможно, что более широкое сотрудничество приведет к более широкому распределению благ (хотя некоторые проекты с небольшим количеством инвесторов тоже могут иметь отличные перспективы для их распределения). Но почему столь желательно широкое распределение благ?

Исход, в котором все получат свою долю сладостей, предпочтительнее с точки зрения как этики, так и благоразумия. Об этической стороне вопроса много говорить не будем, скажем лишь, что дело не обязательно в стремлении к эгалитаризму. Причина может быть, например, в желании справедливости. С проектом, в рамках которого создается машинный сверхразум, связаны глобальные риски гибели человечества. В смертельной опасности оказывается каждый житель Земли, включая тех, кто не согласен подвергать угрозе свои жизни и жизни своих близких. А поскольку риск разделяют все, требование минимальной справедливости означает, что и свою часть награды тоже должны получить все.

То, что общий (ожидаемый) объем благ, похоже, будет выше в сценариях сотрудничества, является еще одним важным этическим аргументом в их пользу.

С точки зрения благоразумия широкое распределение благ выгодно по двум причинам. Первая заключается в том, что такой подход к распределению благ приведет к расширению сотрудничества, что, в свою очередь, позволит снизить негативные последствия гонки технологий. Если от успеха проекта выиграют все, будет меньше поводов бороться за лавры первого создателя сверхразума. Спонсоры конкретного проекта могут также выиграть благодаря информированию общественности о готовности равномерно распределить выгоды от него, поскольку альтруистические проекты скорее привлекут больше сторонников и меньше противников[571].

Вторая причина предпочтения широкого распределения благ с точки зрения благоразумия заключается в том, что для агентов характерно стремление избежать риска, а их функция полезности нелинейна относительно ресурсов. Здесь главное то, что потенциальный выигрыш в ресурсах может быть колоссальным. Если предположить, что наблюдаемая Вселенная действительно так необитаема, какой выглядит, то на каждого жителя Земли сегодня приходится больше одной свободной галактики. Большинство людей предпочли бы гарантированный доступ к одной галактике, полной ресурсов, лотерейному билету с шансом один на миллиард стать владельцем миллиарда галактик[572]. Учитывая такие космические масштабы, ожидающие человечество в будущем, похоже, в наших интересах предпочесть сделку, в рамках которой каждому человеку была бы гарантирована доля, даже если она соответствует лишь малой части общего. Когда на горизонте маячит столь щедрый приз, важно не остаться с носом.

Этот аргумент о громадности призового фонда основан на предположении, что предпочтения являются ресурсно-насыщенными[573]. Это не обязательно так. Например, есть несколько известных этических теорий — включая особенно агрегированные консеквенциалистские, — с которыми соотносятся нейтральные к риску и линейные по ресурсам функции полезности. Имея миллиард галактик, можно создать в миллиард раз больше счастливых жизней, чем имея одну. То есть с утилитарной точки зрения это в миллиард раз лучше[574]. То есть функции предпочтения обычных эгоистичных людей, похоже, относительно ресурсно-насыщаемые. Последнее замечание нужно дополнить двумя важными уточнениями.

Первое: многих людей беспокоят рейтинги. Если множество агентов захотят возглавить список богатейших людей мира, никаких мировых запасов не хватит, чтобы удовлетворить каждого.

Второе: постпереходная технологическая база, возможно, позволит превращать материальные ресурсы в беспрецедентно широкий спектр продуктов, включая такие, которые недоступны сейчас ни за какие деньги, хотя и высоко ценимы многими. Миллиардеры не живут в тысячу раз дольше миллионеров. В эпоху цифрового разума, однако, миллиардеры смогут позволить себе в тысячу раз большую вычислительную мощность и соответственно проживать субъективно в тысячу раз более долгую жизнь. Точно так же окажется доступной за деньги и ментальная мощность. В таких обстоятельствах, когда экономический капитал можно будет конвертировать в жизненно важные товары по постоянному курсу даже на очень высоком уровне богатства, неограниченная жадность обретет гораздо больший смысл, чем в современном мире, где богачи (лишенные филантропических черт) озабочены приобретением самолетов, яхт, коллекций предметов искусства, бесчисленных резиденций — и на все это тратятся целые состояния.

Значит ли это, что эгоист должен нейтрально относиться к риску, связанному с его обогащением в постпереходный период? Не совсем. Может так получиться, что физические ресурсы не будут конвертироваться в жизни или ментальную мощность в произвольных масштабах. Если жизнь должна быть прожита последовательно, чтобы наблюдатель помнил прошлые события и ощущал последствия сделанного когда-то выбора, тогда жизнь цифрового мозга не может быть продлена произвольно долго без использования все возрастающего количества последовательных вычислительных операций. Но законы физики ограничивают степень, до которой ресурсы можно трансформировать в последовательные вычисления[575]. Пределы возможностей последовательных вычислений могут также довольно сильно ограничить некоторые аспекты когнитивной эффективности, которая не сможет расти линейно в соответствии с быстрым накоплением ресурсов. Более того, совершенно неочевидно, что эгоист должен быть нейтрален к риску даже в случае очень релевантных показателей успеха, скажем, количества скорректированных на качество субъективных лет жизни. Если будет стоять выбор между гарантированными дополнительными двумя тысячами лет жизни и одним к десяти шансом получить дополнительно тридцать тысяч лет жизни, думаю, большинство людей выберут первое (даже при условии, что все годы будут одинакового качества)[576].

В реальности аргумент, что с точки зрения здравомыслия предпочтительнее более широкое распределение благ, вероятно, имеет субъективный и зависящий от ситуации характер. Хотя в целом люди с большей вероятностью получили бы (почти все), что они хотят, если удастся найти способ обеспечить широкое распределение благ, — и это верно даже без учета того, что обязательство такого распределения подстегнет сотрудничество и тем самым снизит шансы экзистенциальной катастрофы. То есть широкое распределение благ представляется не только этически необходимым, но и выгодным.

Есть и другое следствие сотрудничества, которое нельзя не отметить хотя бы вскользь: это возможность того, что степень сотрудничества в преддверии перехода повлияет на степень сотрудничества после него. Предположим, что человечество решило проблему контроля. (Если проблема контроля не решена, степень сотрудничества в постпереходный период будет значить пугающе много.) Тогда нужно рассмотреть два случая.

Случай первый: взрывное развитие искусственного интеллекта не создаст ситуацию типа «победитель получает все» (предположительно потому, что взлет окажется сравнительно медленным). В этом случае можно допустить, что если степень сотрудничества в преддверии перехода как-то повлияет на степень сотрудничества после него, то это влияние будет положительным и стимулирующим. Сложившееся сотрудничество сохранится и продолжится после перехода, кроме того, совместные усилия, предпринятые до перехода, позволят направить развитие в желательном направлении (и предположительно, открывающем возможности для еще более тесного сотрудничества) после него.

Случай второй: природа взрывного развития искусственного интеллекта поощряет формирование ситуации, когда «победитель получает все» (предположительно потому, что взлет окажется сравнительно быстрым). В этом случае в отсутствие широкого сотрудничества в преддверии перехода, скорее всего, сформируется синглтон — переход совершит всего один проект по сверхразуму, в какой-то момент обеспечив себе решающее стратегическое преимущество. Синглтон по определению представляет собой социальный порядок с высокой степенью сотрудничества[577]. Таким образом, отсутствие сотрудничества в предшествующий переходу период приведет к чрезвычайно активному сотрудничеству после него. По контрасту с этим более высокая степень сотрудничества в ходе подготовки к взрывному развитию искусственного интеллекта открывает возможности для широкого диапазона исходов. Сотрудничающие группы разработчиков могут синхронизировать работу над проектами так, чтобы гарантированно совершить переход вместе и не допустить получения решающего стратегического преимущества ни одному из них. Или вообще объединить усилия и действовать в рамках общего проекта, но отказаться при этом от формирования синглтона. Например, можно представить консорциум стран, которые запускают совместный научный проект по созданию машинного интеллекта, но не дают санкцию на его превращение в сверхмощный аналог ООН, ограничившись поддержанием имеющегося мирового порядка.

Таким образом, получается, что более активное сотрудничество до перехода может привести к меньшему сотрудничеству после него, особенно в случае быстрого взлета. Однако в той мере, в которой сотрудничающие стороны способны контролировать исход, они могут прекратить сотрудничать или вовсе не начинать это делать лишь в том случае, если считают, что постпереходная фракционность не приведет ни к каким катастрофическим последствиям. То есть сценарии, в которых активное сотрудничество в преддверии перехода сменяется его отсутствием в постпереходный период, в основном относятся к ситуации, в которой это будет безопасно.

В общем случае представляется желательным более активное сотрудничество в постпереходный период. Оно снизит риск возникновения антиутопии, в которой в результате экономической конкуренции и быстрого роста населения возникают мальтузианские условия, или в которой эволюционный отбор приводит к эрозии человеческих ценностей и отсеву жизнелюбивых характеров, или в которой противоборствующие силы сталкиваются с другими последствиями своей неспособности к координации усилий — последствиями вроде войн и технологической гонки вооружений. Последнее — перспектива острой технологической конкуренции — может оказаться особенно опасным в случае перехода к промежуточной форме машинного интеллекта (имитационная модель мозга), поскольку это создаст ощущение гонки и снизит шансы решения проблемы контроля к моменту начала второго перехода к более развитой форме машинного интеллекта (искусственный интеллект).

Мы уже обсудили, каким образом в результате сотрудничества на этапе подготовки к взрывному развитию интеллекта может уменьшиться острота конфликтов, повыситься вероятность решения проблемы контроля и сложиться более оптимальное распределение ресурсов в постпереходную эпоху — как с этической, так и с практической точек зрения.