Когерентное экстраполированное волеизъявление

Юдковский предложил, что зародышу ИИ следует задать в качестве конечной цели следование когерентному экстраполированному волеизъявлению (далее по тексту — КЭВ) человечества, которое он определял так:

Наше когерентное экстраполированное волеизъявление — это наше желание знать больше; думать быстрее; быть в большей степени людьми, которыми нам хотелось бы быть; стать ближе друг к другу; сделать так, чтобы наши мысли сближали нас, а не разделяли, чтобы наши желания совпадали, а не пересекались; экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать[497].

Когда Юдковский писал это, он не ставил перед собой задачу создать инструкцию по воплощению в жизнь своего предписания, более напоминающего поэтическое воззвание. Его целью было набросать эскиз того, как могло бы быть определено КЭВ, а также пояснить, зачем нужен именно этот подход.

Многие идеи, лежащие в основе КЭВ, имеют аналоги и предшественников в философской литературе. Например, в этике существует теория идеального наблюдателя, которая исследует понятия (например, «хороший» и «плохой») с точки зрения тех суждений, которые сделал бы гипотетический идеальный наблюдатель (под таковым понимается всеведущий, логически мыслящий, беспристрастный и свободный от любой предвзятости субъект)[498]. Однако модель КЭВ не является (и не должна считаться) этической теорией. Никто не утверждает, что есть связь между целью и нашим когерентным экстраполированным волеизъявлением. КЭВ можно считать полезным способом аппроксимации всего, что имеет конечную цель без какой-либо связи с этикой. Будучи основным прототипом метода косвенной нормативности, КЭВ заслуживает более подробного изучения.