Непредвиденные последствия

Сатьяджит Дас

Бывший банкир; автор книг «Экстремальные деньги» (Extreme Money) и «Трейдеры, пушки и деньги» (Traders, Guns, and Money)

В своем романе «Радуга тяготения»[107] Томас Пинчон указывает на путаницу между предметом и объектом исследования: «Если они заставят тебя задавать не те вопросы, им не придется париться насчет ответов». Рассуждения о мыслящих машинах ставят больше вопросов о людях, чем о машинах или об искусственном интеллекте.

Технологии позволяют нам создавать машины, которые дают доступ к важным ресурсам, мощности, скорости и общению, что делает возможным улучшение уровня жизни и даже самой жизни. Машины выполняют задачи, сформулированные и запрограммированные людьми. Технооптимисты полагают, что мы приближаемся к сингулярности — гипотетическому моменту, когда машины достигнут такого состояния, что превзойдут людей в интеллектуальном развитии.

Это некая система верований, сродни религии. Точно так же, как тотемы, которыми пользовались наши предки, наука и технология обращаются к неопределенности и страху перед неизвестным. Они дают ограниченный контроль над нашим непосредственным окружением. Они повышают материальное благополучие и комфорт. Они формируют стремление к совершенству и утверждают превосходство человека над остальной частью творения.

Но наука еще далека от того, чтобы разгадать все секреты в бесконечной книге природы. Знание о происхождении Вселенной и жизни, об основах материи все еще очень ограничено. Биолог Эдвард Уилсон заметил, что если бы естественная история была библиотекой, то мы бы сейчас не закончили читать и первую главу первой книги из этой библиотеки. Человеческое знание всегда остается неполным, иногда неточным и нередко оказывается источником проблем, а не их решением.

1. Использование науки и технологии часто бывает неэффективным и ведет к непредвиденным последствиям.

Когда в Австралию завезли кроликов, они стали быстро распространяться и превратились во вредителей, изменили австралийские экосистемы, уничтожили эндемичные виды. В 1950-х годах ученые вывели вирус миксомы, значительно сокративший число кроликов. Когда генетическая сопротивляемость дала популяции возможность восстановиться, вывели калицивирус, который вызывает у кроликов геморрагическую болезнь, и снова повышение иммунитета быстро снизило его эффективность. В 1935 году, чтобы контролировать численность вредителей сахарного тростника, завезли тростниковую жабу. Уменьшить количество вредителей амфибия не смогла, зато сама стала инвазивным видом, уничтожающим эндемичную фауну.

Распространенность антибиотиков, спасающих много жизней, увеличила число устойчивых к лекарственным средствам инфекций. Исследование, проведенное в 2014 году британскими учеными, показало, что так называемые суперинфекции могут стать причиной 10 миллионов смертей ежегодно в общемировом масштабе к 2050 году, что потенциально будет стоить мировой экономике в 100 триллионов долларов США в год.

Экономические модели постоянно терпят крах из-за неверных предположений, ошибочных причинно-следственных связей, данных, которые на деле оказываются информационным шумом, и непредвиденного человеческого фактора. Прогнозы бывают неточными. В моделях постоянно недооцениваются риски и уязвимости, что приводит к финансовым кризисам.

2. Последствия применения технологий, особенно в долгосрочной перспективе, часто непонятны на начальном этапе.

Возможность использовать ископаемые виды топлива для обеспечения техники энергией стала основой Промышленной революции. Долгосрочное воздействие выбросов CO₂ на окружающую среду теперь несет угрозу выживанию нашего вида. Теоретическая физика и математика позволили сконструировать ядерные и термоядерные устройства, способных уничтожить все живое на планете.

3. Технология создает моральные, этические, политические, экономические и социальные проблемы, которые часто игнорируются.

Технический прогресс привел к появлению ядерного, биологического и химического оружия массового уничтожения и беспилотных аппаратов с дистанционным управлением. Стоит ли вообще разрабатывать такие вещи? Простота доступа к необходимым знаниям, вопросы распространения технологий и проблемы в области контроля технологий двойного назначения (гражданского и военного) делают решение еще более сложным.

Роботы и ИИ способны повысить производительность. Хотя их немногочисленные создатели могут получить огромную выгоду, воздействие на экономическую активность будет ограниченным. Учитывая, что потребление составляет более 60 процентов экономической активности в развитых странах, снижение занятости и уровня доходов вредит экономике в целом. В начале 1950-х годов «Форд» построил новый автоматизированный завод. Начальник завода задал вопрос главе Профсоюза работников автомобильной промышленности Уолтеру Рейтеру, посетившему предприятие с официальным визитом: «Как вы планируете собирать профсоюзные взносы с этих ребят (с роботов)?» Рейтер ответил: «А как вы планируете сделать так, чтобы они покупали „форды“?»

Когда дело касается технологий, человечество редко ведет себя логично. Мы часто не признаем, что чего-то нельзя или не стоит делать. Прогресс принимается безоговорочно и без понимания того, что нам нужно знать и зачем. Мы не знаем, когда, где и как нужно использовать наши творения, не знаем пределов их возможностей. Часто не знаем реальных последствий или не сознаем их в полной мере. Сомневающихся сразу же называют луддитами.

Технология и ее проявления, такие как машины или ИИ, — это иллюзии, апеллирующие к человеческим амбициям и тщеславию, умножающие смятение, которое мы находим в «пустыне зеркал»[108] Томаса Стернза Элиота. Человек как вид попросту слишком мал, незначителен и нерационален, чтобы справиться с любой из задач, которые, как мы думаем, мы можем выполнить. Размышления о мыслящих машинах только подтверждают эту неприятную истину.