Гонка и связанные с ней опасности

Ощущение гонки возникает, когда есть страх, что проект обойдут конкуренты. Для этого совсем не обязательно наличие множества сходных проектов. Ситуация, при которой инициаторы проекта находятся в состоянии гонки, может сложиться и в отсутствие реальных конкурентов. Возможно, союзники не создали бы атомную бомбу так быстро, если не считали бы (ошибочно), что Германия крайне близка к этой цели.

Интенсивность ощущения гонки (то есть степень того, насколько конкуренты готовы ставить скорость выше безопасности) зависит от нескольких факторов, таких как плотность конкуренции, относительная важность возможностей и удачи, количество соперников, схожесть их подходов и целей. Также важно, что думают обо всех этих факторах конкуренты (см. врезку 13).

ВРЕЗКА 13. СМЕРТЕЛЬНАЯ ГОНКА

Рассмотрим гипотетическую гонку вооружений с применением ИИ — гонку, в которой несколько команд конкурируют за право первыми создать сверхразум[565]. Каждая из них сама решает, сколько инвестировать в безопасность, понимая, что ресурсы, потраченные на меры предосторожности, — это ресурсы, не потраченные на создание ИИ. В отсутствие согласия между соперниками (которого не удалось достичь из-за различия позиций или невозможности контролировать соблюдение договора) гонка может стать смертельно опасной, когда каждая команда тратит на безопасность лишь минимальные средства.

Производительность каждой команды можно представить как функцию ее возможностей (к которым относится и удача), штрафной функцией являются затраты на обеспечение безопасности. Первой создаст ИИ команда с наивысшей производительностью. Риски, связанные с появлением ИИ, зависят от того, сколько его создатели инвестировали в безопасность. В наихудшем сценарии все команды имеют одинаковые возможности. В этом случае победитель определяется исключительно по величине его капиталовложений в безопасность: выиграет команда, потратившая на меры предосторожности меньше всего. Тогда равновесие Нэша в этой игре достигается в ситуации, когда ни одна команда ничего не тратит на безопасность. В реальном мире такая ситуация будет означать возникновение эффекта храповика: одна из команд принимает на себя больший риск, опасаясь отстать от конкурентов, последние отвечают тем же — и так несколько раз, пока уровень риска не оказывается максимальным.

Возможности и риск

Ситуация меняется, когда возможности команд не одинаковы. Поскольку различия в возможностях являются более важным фактором по сравнению с затратами на обеспечение безопасности, эффект храповика слабеет: стимулов идти на больший риск в ситуации, когда это не повлияет на расстановку сил, гораздо меньше. Различные сценарии такого рода показаны на рис. 14, иллюстрирующем риски ИИ в зависимости от значимости такого параметра, как возможности разрабатывающих его команд. Инвестиции в безопасность лежат в диапазоне от 1 (в результате получаем идеально безопасный ИИ) до 0 (совершенно небезопасный ИИ). По оси x отображается относительная значимость возможностей команды для определения ее прогресса на пути создания ИИ по сравнению с инвестициями в безопасность. (В точке 0,5 уровень инвестиций в безопасность в два раза значимее возможностей; в точке 1 они равны; в точке 2 возможности в два раза значимее инвестиций в безопасность и так далее.) По оси y отображается уровень риска, связанный с ИИ (ожидаемая доля максимальной полезности, которую получает победитель.)

Рис. 14. Уровни риска в условиях гонки технологий искусственного интеллекта. На рисунке изображен уровень риска опасного ИИ для простой модели гонки технологий с участием а) двух или б) пяти команд в сочетании с относительной значимостью их возможностей (по сравнению с инвестициями в безопасность) для определения того, какой проект станет победителем. На диаграмме отражены три сценария: сплошная линия — нет информации об уровне возможностей; штриховой пунктир — закрытая информация о возможностях; точечный пунктир — открытая информация о возможностях.

Мы видим, что во всех сценариях опасность ИИ максимальна, когда возможности не играют никакой роли, и постепенно снижается по мере роста их значимости.

Сравнимые цели

Еще один способ снизить риск заключается в том, чтобы обеспечить командам большую долю в успехе друг друга. Если конкуренты убеждены, что второе место означает потерю всего, что им дорого, они пойдут на любой риск, чтобы обойти соперников. И наоборот, станут больше инвестировать в безопасность, если окажутся менее зависимыми от результатов гонки. Это означает, что нам нужно поощрять различные формы перекрестного инвестирования.

Количество конкурентов

Чем больше конкурирующих команд, тем более опасной становится гонка: у каждой из команд меньше шансов на то, чтобы прийти первой, соответственно, выше соблазн рисковать. Это видно, если сравнить позиции а и б на рис. 14: две команды и пять команд. В каждом сценарии риск растет с ростом числа конкурентов. Его можно снизить, если команды объединятся в небольшое количество конкурирующих коалиций.

Проклятие избыточной информации

Хорошо ли, если команды будут знать о своем месте в гонке (например, уровень своих возможностей)? И да, и нет. Желательно, чтобы о своем лидерстве знала сильнейшая команда (это будет означать, что отрыв от конкурентов позволит ей больше думать о безопасности). И нежелательно, чтобы о своем отставании знали остальные (поскольку это подтвердит их решимость ослабить меры предосторожности в надежде нагнать конкурентов). Хотя на первый взгляд может показаться, что компромисс возможен, модели недвусмысленно показывают, что информация — это плохо[566]. На рис. 14 (а и б) отражены три сценария: прямая линия соответствует ситуации, в которой ни одна из команд не имеет информации о возможностях участников гонки, включая свои собственные; штриховой пунктир соответствует ситуации, в которой команды знают только о своих собственных возможностях (тогда они готовы идти на дополнительный риск в случае, если их возможности низки); точечный пунктир показывает, что происходит, если все команды осведомлены о возможностях друг друга (они могут пойти на дополнительный риск в случае, если их возможности близки). С каждым ростом уровня информированности гонка обостряется.

В случае развития машинного интеллекта представляется, что ощущение гонки будет как минимум заметным, а возможно, и очень сильным. От интенсивности этого ощущения зависит, какими могут быть стратегические последствия возможного взрывного развития искусственного интеллекта.

Из-за ощущения гонки проекты могут ускорить свое движение в сторону сверхразума, сократив капиталовложения в решение проблемы контроля. Возможны и другие негативные последствия вроде прямых враждебных действий по отношению к конкурентам. Предположим, что две страны соревнуются в том, какая из них первой создаст сверхразум, и одна вырывается вперед. В ситуации, когда «победитель получает все», аутсайдер может решиться на отчаянный удар по сопернику, вместо того чтобы пассивно ждать поражения. Предполагая это, страна-лидер может нанести упреждающий удар. Если антагонисты обладают достаточной военной мощью, их столкновение приведет к большой крови[567]. (Даже точечный удар, нанесенный по инфраструктуре проекта разработки ИИ, несет риск более широкой конфронтации, кроме того, он может не достичь своей цели, если страна, в которой ведутся работы над этим проектом, примет соответствующие меры предосторожности[568].)

Если взять сценарий, в котором враждующие разработчики представляют не страны, а менее мощные институты, их конфликт, по всей вероятности, окажется менее разрушительным с точки зрения непосредственного вреда. Хотя в целом последствия такой конкуренции будут почти столь же плохи. Это связано с тем, что главным образом вред вызывается не столкновением на поле битвы, а ослаблением мер предосторожности. Как мы видели, ощущение гонки приведет к снижению инвестиций в безопасность, а конфликт, даже бескровный, устранит возможность сотрудничества, поскольку в атмосфере враждебности и недоверия проектные группы вряд ли захотят делиться идеями о путях решения проблемы контроля[569]