Время и скорость взлета

Допустим, что рано или поздно машинный интеллект значительно превзойдет общий интеллектуальный уровень человека, при этом мы не должны забывать, что на сегодняшний день познавательные способности человека в огромной степени превосходят возможности машинного познания. Нас не может не волновать, когда свершится самоуправство машин и насколько быстро утвердится их монополия на познание. Причем этот вопрос нужно четко отличать от поставленного нами в первой главе, а именно: насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня. Сейчас речь идет о другом: если машина, наделенная универсальным интеллектом человеческого уровня, будет когда-то и где-то создана, сколько ей понадобится времени, чтобы полностью превратиться в сверхразумную? Заметьте, в отношении создания УИИЧУ можно занимать разные позиции: считать, что для этого потребуется очень длительное время; отрицать саму возможность хоть в малейшей степени оценить этот срок, — но в любом случае быть абсолютно уверенным, что как только человечество этого достигнет, дальнейшее развитие, то есть подъем на высочайший сверхразумный уровень, произойдет очень быстро.

Может быть, целесообразнее представить процесс развития схематично, даже если придется временно не принимать во внимание некоторые условия и подробности, усложняющие суть дела. Посмотрим на диаграмму, отражающую интеллектуальные способности наиболее совершенных систем искусственного интеллекта как функцию времени (см. рис. 7).

Рис. 7. Схема взлета. Важно разделять такие вопросы, как: состоится ли взлет? если взлет состоится, то когда? если когда-нибудь взлет произойдет, насколько резким он будет? Например, можно считать, что до взлета еще очень много времени, но когда момент наступит, все произойдет очень быстро. Есть еще один важный вопрос (на диаграмме не показан): какова будет роль мировой экономики в процессе взлета сверхразумной системы? Все вопросы связаны между собой.

Горизонтальная линия с надписью «человеческий уровень» представляет характерные для современных развитых стран интеллектуальные возможности среднестатистического взрослого человека, имеющего доступ к источникам информации и технологическим средствам. В настоящее время даже самая передовая интеллектуальная система в значительной степени — по любым разумным показателям — отстает от основных человеческих характеристик. В будущем, в какое-то неопределенное для нас время, интеллектуальная система сможет достичь приблизительного равенства с человеком (за основу нами принят зафиксированный в 2014 году общий уровень интеллекта человека, даже если в последующие годы он предположительно будет расти) — этот момент будет свидетельствовать о начале взлета. Возможности интеллектуальной системы продолжат увеличиваться и спустя некоторое время достигнут паритета с объединенными интеллектуальными способностями всего человечества (уровень фиксации тот же 2014 год) — это мы обозначим как «цивилизационный уровень». Если интеллектуальная система пойдет по пути дальнейшего развития, она наконец превратится в сильный сверхразум, то есть с точки зрения интеллектуальных возможностей выйдет на уровень, значительно превосходящий уровень человечества в целом, — когда это будет достигнуто, можно говорить о завершении взлета, хотя сама сверхразумная система в состоянии самосовершенствоваться и дальше. В какой-то момент в течение процесса взлета система может пройти отметку «критический рубеж», то есть точку, за которой совершенствование будет зависеть не от деятельности людей, а в основном от ее собственных усилий[218]. (Возможность существования критического рубежа, или точки перехода, важна для обсуждения тем, рассматриваемых в последнем разделе главы, — сила оптимизации и взрывоопасность.)

На диаграмме представлен обобщенный сценарий перехода интеллектуальной системы с человеческого на сверхразумный уровень, но в зависимости от крутизны кривой можно выделить три типа сценариев взлета — медленный, быстрый, умеренный.

   1. Медленный взлет. Будет происходить на долгих временных интервалах — от десятилетий до столетий. Такие сценарии представляют собой отличные возможности, чтобы человечество смогло обдумать свои дальнейшие политические ходы, адаптировать их к ситуации и правильно реагировать на происходящее. Можно будет последовательно тестировать разные подходы, обучить и подготовить новых специалистов. Предвыборные кампании будут ориентированы на сторонников и противников происходящих процессов. Если выяснится, что нужны новые системы безопасности и общественного контроля над исследованиями в области ИИ, будет достаточно времени, чтобы их разработать и развернуть. Страны и ученые, опасающиеся гонки вооружений в области военного применения ИИ, смогут провести необходимые переговоры и разработать защитные механизмы. Большинство подготовительных мер, предпринятых накануне процесса медленного взлета, окажутся морально устаревшими, но постепенно начнут появляться новые решения, актуальные для наступающей эпохи.

   2. Быстрый взлет. Произойдет в течение очень короткого промежутка времени — минуты, часы, дни. В сценариях быстрого взлета у людей почти не остается возможности реагировать на него. Никто не успеет ничего заметить, а игра уже окажется проигранной. В любом сценарии быстрого взлета судьба человечества в основном зависит от подготовительной работы, уже проведенной к этому моменту. В самом медленном из быстрых сценариев со стороны людей еще могут быть произведены какие-то элементарные телодвижения вроде потянуться открыть «ядерный чемоданчик», но тогда алгоритмы этих действий должны быть или действительно элементарны, или запланированы, запрограммированы и отрепетированы заранее.

   3. Умеренный взлет. Произойдет в течение относительно короткого временного интервала — от нескольких месяцев до нескольких лет. В этом случае у человечества остается некоторая возможность отреагировать на происходящее, но не будет времени проанализировать его, протестировать разные подходы и решить сложные задачи координации действий. На создание и развертывание новых систем, таких как политические меры, механизмы контроля, протоколы безопасности компьютерных сетей, времени тоже не останется, но, возможно, получится приспособить к новым обстоятельствам уже существующие нормы.

В случае медленного взлета будет достаточно времени для распространения новостей. При умеренном взлете разработки могут остаться засекреченными. Знанием о них будут располагать лишь очень ограниченные группы людей, как это бывает при разработке секретных государственных программ военных исследований. Так же тайно, силами небольших научных коллективов или хакеров в каком-нибудь подвале, могут вестись работы в рамках коммерческих проектов — впрочем, если перспективы взрывного развития сверхразума попадут на радары государственных спецслужб и станут одним из приоритетов национальной безопасности, у наиболее многообещающих частных проектов появятся большие шансы оказаться под наблюдением. В таком случае у государства (или доминирующего международного игрока) будет возможность национализировать или закрыть любой проект, демонстрирующий признаки скорого взлета.

Быстрый взлет произойдет за столь короткое время, что никто не успеет не то что отреагировать на него, но даже рот открыть. Вмешаться будет возможно до начала взлета — правда, лишь при условии, что наготове имеется механизм по защите.

Сценарии умеренного взлета могут привести к геополитическим, социальным и экономическим потрясениям, поскольку отдельные люди и сообщества постараются обеспечить себе выигрышные позиции в ходе разворачивающихся преобразований. Возможные беспорядки начнут тормозить усилия по координации ответных мер и спровоцировать принятие решений более радикальных, чем те, которые были бы приняты в спокойной ситуации. Например, по одному из сценариев умеренного взлета в течение нескольких лет рынок труда постепенно заполняют дешевые и сверхпроизводительные имитационные модели, полученные вследствие полной эмуляции мозга, или иные системы искусственного интеллекта. При таком развитии событий можно допустить, когда начнутся массовые увольнения работников-людей, не менее массовые протесты, которые вынудят правительства увеличить пособия по безработице, ввести гарантии пожизненной занятости для всех граждан, а также специальные налоги или обязательные социальные отчисления для работодателей, использующих труд работников-роботов. Чтобы принятые в результате такой политики меры не оказались пустыми, они должны быть поддержаны новыми политическими и социальными структурами, действующими на постоянной основе. Аналогичные проблемы не исключены при сценариях медленного взлета, но в сценариях умеренного взлета диспропорции и скорость изменений способны привести к тому, что небольшие группы активистов получат непропорционально большое влияние.

Некоторым читателям может показаться, что из перечисленных сценариев взлета наиболее вероятен — медленный, менее вероятен — умеренный, практически невозможен — быстрый. Возможно ли предположить, что всего за пару часов мир в состоянии радикально измениться, а венец творения — быть сброшенным с вершины разума? С подобными громадными переменами история человечества еще не сталкивалась, а ближайшие параллели — неолитическая (сельскохозяйственная) и промышленная революции — потребовали гораздо больше времени (от нескольких веков до тысячелетия в первом случае, от нескольких десятилетий до веков — во втором). То есть база для трансформации такого рода, какая предполагается в случае сценариев быстрого или умеренного взлета, с точки зрения величины и скорости происходящих изменений, равна нулю, поскольку прецедентов — если не брать в расчет мифологии и религии — в человеческой истории не было[219].

Однако медленный сценарий представляется как раз самым маловероятным — в пользу этого положения я приведу далее соответствующие аргументы. Скорее всего, события начнут развиваться по быстрому сценарию — если когда-нибудь взлет произойдет, он будет иметь взрывной характер.

Чтобы получить ответ на вопрос, насколько быстрым будет взлет, можно считать скорость роста интеллектуальных способностей системы монотонно возрастающей функцией двух переменных: величины «силы оптимизации», или взвешенных на качество усилий по разработке, прилагаемых с целью сделать систему более интеллектуальной, и «отзывчивости» системы к приложению оптимизирующей силы. Можно также ввести термин «сопротивляемость», обратный отзывчивости, и записать следующее:

В отсутствие количественного определения уровня интеллекта, усилий по его повышению и сопротивляемости это выражение остается по большей части качественным. Но по крайней мере можно будет наблюдать, что интеллектуальные способности системы быстро растут, когда или прилагаются большие усилия для их развития, притом что развить ее способности не очень трудно, или нужны нетривиальные усилия по разработке правильного дизайна системы, притом что сопротивляемость ее низка (или справедливо и то и другое). Если мы знаем, сколько усилий прилагается для улучшения той или иной системы, и скорость улучшений, которую они обеспечивают, то можем рассчитать сопротивляемость этой системы.

Далее, мы можем наблюдать, что сила оптимизации, направленная на улучшение эффективности той или иной системы, с течением времени сильно изменяется от системы к системе. Сопротивляемость системы также может сильно зависеть от того, насколько система уже оптимизирована. Часто первыми делаются простейшие улучшения, в результате чего — по мере срывания самых низко висящих плодов — результаты появляются все медленнее (растет сопротивляемость системы). Однако могут быть улучшения, облегчающие последующие улучшения, и тогда возникает каскад улучшений. Процесс складывания пазла поначалу кажется простым, ведь сложить углы и края картины довольно легко. Затем сопротивляемость растет — подбирать последующие части становится труднее. В конце, когда сборка пазла почти завершена, свободных мест практически не остается, и процесс вновь идет легко.

Таким образом, чтобы найти ответ на наш вопрос, следует проанализировать, как меняются в критические моменты взлета степень сопротивляемости и сила оптимизации. Этим мы и займемся далее.