Они сделают нас лучше?

Стюарт Рассел

Профессор информатики, профессор инженерного дела Калифорнийского университета в Беркли; автор, совместно с Питером Норвигом, книги «Искусственный интеллект: Современный подход» (Artificial Intelligence: A Modern Approach)[88]

Искусственный интеллект нужен нам, как и раньше, в первую очередь для того, чтобы строить машины, которые лучше принимают решения. Считается, что сегодня это означает увеличение ожидаемой полезности, насколько возможно. Однако на самом деле смысл состоит немного в другом, а именно: дана функция полезности (или функция вознаграждения, или цель), нужно максимизировать ее ожидаемое значение. Исследователи искусственного интеллекта усердно работают над алгоритмами такой максимизации — над игрой «поиск по дереву», над обучением с подкреплением и т. д. — и над методами (включая восприятие) получения, репрезентации и обработки информации, необходимыми для вычисления ожиданий. Во всех областях был достигнут значительный прогресс, и он, похоже, только ускоряется.

Среди всей этой активности незамеченным остается один важный момент: уметь хорошо принимать решения и принимать хорошие решения — не одно и то же. Неважно, насколько безупречно машина максимизирует ожидания, неважно, насколько точна ее модель мира, — решения, принятые с помощью алгоритма, могут быть несказанно глупы в глазах обычного человека, если функция полезности плохо соотносится с человеческими ценностями. Известный пример со скрепками — хорошая иллюстрация: если единственная цель машины — увеличивать число канцелярских скрепок, она может изобрести потрясающие технологии, чтобы преобразовать всю материю в досягаемой области Вселенной в канцелярские скрепки, но ее решения все равно будут совершенно тупыми.

Искусственный интеллект вслед за исследованием операций, статистикой и даже экономикой рассматривает функцию полезности как нечто, заданное экзогенно. Мы говорим: «Решения отличные, проблема с функцией полезности, но это не вина системы ИИ». Почему это не вина системы ИИ? Если бы я вел себя как машина, вы бы сказали, что это моя вина. Когда мы оцениваем людей, то ожидаем от них и способности осваивать прогностические модели мира, и способности выяснять, что является целесообразным, то есть общей системы человеческих ценностей.

Как объясняют Стив Омохундро, Ник Бостром и другие ученые, несовпадение ценностей и все более эффективные системы принятия решений в сочетании способны вызвать ряд проблем, возможно даже таких, которые приведут к исчезновению целого вида, если машины окажутся более эффективны, чем люди. Некоторые утверждают, будто человечеству ничто не угрожает в ближайшие несколько веков, забывая при этом, что временной интервал между уверенным заявлением Эрнеста Резерфорда о том, что энергию атома высвободить невозможно, и открытием Лео Силардом цепной реакции, инициируемой воздействием нейтронов, составил менее 24 часов.

По этой причине, а также по более насущным соображениям — ведь бытовым роботам и беспилотным автомобилям нужно будет разделять значительную часть человеческой системы ценностей — исследования в области согласования ценностей стоит продолжать. Один из вариантов — обратное обучение с подкреплением: машина определяет функцию вознаграждения, наблюдая за неким субъектом, в отношении которого предполагается, что он действует в соответствии с такой функцией. Бытовой робот, наблюдая, как его владелец утром варит кофе, узнает об уместности кофе в определенных обстоятельствах, тогда как робот, принадлежащий англичанину, узнает, что при любых обстоятельствах уместен чай. Робот не учится хотеть кофе или чаю; он учится играть определенную роль в мультисубъектной задаче принятия решений, в которой максимальное значение имеют человеческие ценности.

На практике эта задача будет непростой. Люди непоследовательны, иррациональны и слабовольны, а человеческие ценности демонстрируют, скажем так, региональную изменчивость. Кроме того, мы пока не вполне понимаем, не сделают ли усовершенствованные механизмы принятия решений более опасными маленькие сбои в согласовании ценностей человека и машины. Тем не менее есть основания для оптимизма.

Во-первых, у нас полно данных о действиях человека — большая часть из того, что было написано, снято или наблюдается непосредственно, — и, что важнее всего, у нас полно данных об отношении к этим действиям. (На той же идее базируется понятие обычного международного права: оно основано на том, что традиционно делают государства, когда руководствуются чувством долга.) Во-вторых, разделяя человеческие ценности, машины могут и даже должны делиться друг с другом тем, что о них узнаю?т. В-третьих, есть веские экономические стимулы для решения этих задач, поскольку машины все больше входят в окружение человека. В-четвертых, проблема не выглядит принципиально более сложной, чем выяснение того, как устроен весь остальной мир. В-пятых, если определить очень широкие априорные суждения о том, какими бывают человеческие ценности, и сделать системы искусственного интеллекта не склонными к риску, то можно вызвать как раз такое поведение, которого мы хотим: прежде чем предпринять какое-либо серьезное действие, влияющее на мир, машина вступает в разговор с нами и подробно исследует нашу литературу и историю, с тем чтобы выяснить, чего мы хотим — чего мы на самом деле хотим.

Полагаю, это равносильно смене целей: вместо чистого разума нам надо построить разум, в отношении которого доказано, что он соотнесен с человеческими ценностями. Это делает философию морали главной отраслью промышленности. Результаты могут оказаться весьма поучительны для человечества, да и для роботов тоже.