Резюме

Прежде чем завершить эту главу, имеет смысл суммировать сказанное. Мы различаем два широких класса методов решения проблемы контроля: контроль над возможностями и выбор мотивации. В табл. 10 приводится их обобщенное описание.

Таблица 10. Методы контроля

[Методы контроля над возможностями]

Изоляционные методы

Система изолируется таким образом, что способна воздействовать на внешний мир исключительно посредством разрешенных каналов. Сюда включаются методы физического и информационного ограничения

Стимулирующие методы

Система помещается в среду, в которой ей обеспечиваются соответствующие стимулы. К ним могут относиться социальная интеграция в мир сравнимых с ней по силе субъектов и вознаграждение зашифрованными наградными знаками. Важной возможностью является «антропный захват», хотя он и включает в себя ряд эзотерических соображений

Методы задержки развития

Налагаются определенные ограничения в развитии когнитивных способностей системы или ее возможность влиять на основные внутренние процессы

Методы «растяжек»

С помощью специального оборудования проводят диагностическое тестирование системы (возможно, без ее ведома); в случае обнаружения опасных действий она автоматически отключается

[Методы выбора мотивации]

Метод точной спецификации

Подход опирается, с одной стороны, на систему четко прописанных правил; с другой — на принцип консеквенциализма

Метод приручения

Система мотивации разрабатывается так, чтобы сделать систему послушной нашей воле, ограничив масштаб ее притязаний

Метод косвенной нормативности

Частично опирается на систему четко прописанных правил и на принцип консеквенциализма, но отличается тем, что полагается на косвенный подход к определению правил, которым нужно следовать, или целей, которых нужно придерживаться

Метод приумножения

Начинать работать с системой, которая уже имеет человеческую или близкую к ней мотивацию, после чего ее когнитивные возможности увеличиваются до уровня сверхразума

У каждого метода контроля есть свои потенциально уязвимые места, с каждым из них сопряжены определенные трудности реализации. Может показаться, что нам следовало бы классифицировать их от лучших к худшим, а затем выбрать наилучший метод. Но это было бы ненужным упрощением. Одни методы можно комбинировать друг с другом, другие — используются только самостоятельно. Полезными будут даже сравнительно небезопасные методы, если их легко применять в качестве дополнительных мер предосторожности, а от более мощных лучше отказаться, если они исключают возможность использования иных средств защиты.

Поэтому всякий раз необходимо принимать во внимание, какие у нас есть возможности комплексного подхода. Нужно иметь в виду тип системы, который мы хотим создать, и методы контроля, применимые к каждому типу. Это и будет темой нашей следующей главы.