Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех

Начало книги

«СНИЖЕНИЕ РИСКА ГИБЕЛИ ЧЕЛОВЕЧЕСТВА ИЗ-ЗА ИИ ДОЛЖНО СТАТЬ глобальным приоритетом наряду с другими рисками масштаба всего общества, такими как пандемии и ядерная война».

В начале 2023 года сотни ученых в области искусственного интеллекта подписали открытое письмо, состоявшее всего из этого одного предложения. Среди подписавших были некоторые из самых заслуженных исследователей в этой области. В их числе были лауреат Нобелевской премии Джеффри Хинтон и Йошуа Бенджио, разделившие Премию Тьюринга за изобретение глубокого обучения.

Мы — Элиезер Юдковский и Нейт Соарес — тоже подписали это письмо, хотя и посчитали его формулировку слишком мягкой.

Ни нас, ни других подписавшихся не беспокоили ИИ образца 2023 года. Не беспокоят нас и те ИИ, которые существуют сейчас, когда мы пишем эти строки в начале 2025 года. Сегодняшние ИИ все еще кажутся поверхностными — в каком-то глубинном смысле, который трудно описать словами. У них есть ограничения, такие как неспособность формировать новые долговременные воспоминания. Этих недостатков пока достаточно, чтобы мешать им проводить серьезные научные исследования или заменять сколько-нибудь значительное количество человеческих рабочих мест.

Читать дальше →