Слово «эндшпиль» означает заключительную стадию игры, в которой каждый ход может оказаться необратимым. Авторы считают, что с искусственным интеллектом человечество уже вошло в эндшпиль: именно сейчас принимаются решения, от которых зависит, приведет ли развитие ИИ к утопии или к антиутопии. При этом технологии развиваются быстрее, чем политика и регулирование, а многие важнейшие вопросы почти не обсуждаются публично.

Книга исследователя ИИ и консультанта ООН Зенке Цише и одного из самых известных специалистов по безопасности ИИ Романа Ямпольского посвящена именно таким малоизученным темам. Как измерять благополучие «цифровых разумов» и можно ли их удалять? Что такое i-риски — угроза того, что ИИ лишит людей икигай, их смысла жизни, и как создать новые пространства для самореализации? Как определить «личность» ИИ, если его можно копировать, объединять, выключать и восстанавливать? Может ли ИИ основать собственную религию, чтобы управлять людьми?

Авторы предлагают конкретные подходы к проблеме согласования ИИ с человеческими ценностями — от опоры на Цели устойчивого развития ООН до учета сознания и квалиа, — вводят понятия «интеллектологии» и «дизайнометрии» и призывают объединить западные и незападные подходы к этике ИИ. Главы независимы друг от друга и могут читаться в любом порядке.

Книга адресована исследователям, авторам политики в сфере технологий и всем, кто всерьез задумывается о будущем ИИ и его влиянии на общество.

Зенке Цише — исследователь в области искусственного интеллекта, доктор естественных наук (PhD Гамбургского университета, диссертация подготовлена в рамках докторской программы по ИИ). С 2000 года работает в системе ООН — в сферах гуманитарной помощи, восстановления, устойчивого развития, а также управления данными и информацией: в штаб-квартире в Нью-Йорке и в миссиях в Палестине, Шри-Ланке, Пакистане, Судане, Ливии, Южном Судане, Бангладеш, на Мальдивах и в Индии. Во время революции 2011 года в Ливии временно был старшим представителем ООН в стране. На Мальдивах работал старшим научным сотрудником по ИИ в Национальном университете Мальдив, где в 2018 году начал исследования цифровых разумов. Член сети экспертов ЮНЕСКО по этике ИИ (AI Ethics Experts without Borders). Сейчас консультирует, главным образом ООН, по вопросам ИИ и управления информацией о стихийных бедствиях. Живет в Бруклине (США).

Роман Ямпольский — профессор кафедры компьютерных наук и инженерии Университета Луисвилла (США), основатель и бессменный директор Лаборатории кибербезопасности. Получил PhD в Университете штата Нью-Йорк в Буффало. Один из ведущих мировых исследователей безопасности искусственного интеллекта, автор множества научных работ и книг, в том числе Artificial Superintelligence: A Futuristic Approach и AI: Unexplainable, Unpredictable, Uncontrollable (вышла на русском языке в издательстве NOVA Creative Group). Редактор серии Chapman & Hall/CRC Artificial Intelligence and Robotics, в которой вышла эта книга.

1. Объяснит, почему мы уже находимся в «эндшпиле» ИИ и какие необратимые решения в области этики и безопасности нужно принимать прямо сейчас.

2. Познакомит с новыми категориями рисков — i-рисками, при которых ИИ лишает людей смысла жизни (икигай), — и предложит способы их снизить.

3. Расскажет, какие моральные вопросы встанут перед человечеством, если появятся «цифровые разумы», способные страдать, и как к этому подготовиться.

4. Предложит практические подходы к проблеме согласования ИИ с человеческими ценностями — через Цели устойчивого развития ООН и через учет сознания и субъективных переживаний.

5. Покажет неочевидные риски — вплоть до того, что ИИ может создать религию, — и объяснит, почему этика ИИ не должна сводиться к западным подходам.