Глава десятая Оракулы, джинны, монархи и инструменты

Часто можно услышать: «Сделайте простую систему, отвечающую на вопросы!», «Сделайте ИИ, который просто будет инструментом, а не агентом!» Эти предложения не рассеют наших тревог об угрозе, но вопрос, который они поднимают, вовсе не тривиален, поскольку крайне важно знать, какого типа системы наиболее безопасны. Мы рассмотрим четыре типа, или касты, ИИ — оракулы, джинны, монархи и инструменты — и объясним, какая связь существуют между ними[377]. У каждого типа ИИ есть свои преимущества и свои недостатки с точки зрения решения проблемы контроля.