«…Чтобы наши желания совпадали, а не пересекались…»

ИИ следует действовать в соответствии с довольно широким консенсусом экстраполированных волеизъявлений отдельных людей. Небольшое количество сильных, ясно выраженных желаний способно иногда перевесить слабые и невнятные желания большинства. Также Юдковский считает, что для ИИ требуется меньший консенсус, чтобы предотвратить некий конкретный негативный исход, и больший, чтобы действовать с целью реализации некоего конкретного позитивного исхода. «Исходным принципом для КЭВ должен быть консервативный подход к “да” и внимательное отношение к “нет”», — пишет он[500].