«Если кто-то создаст это, умрут все»: новая книга предсказывает гибель человечества от разрушительного искусственного интеллекта

Если кто-то создаст это, умрут все: новая книга предсказывает гибель человечества от разрушительного искусственного интеллекта

В Силиконовой долине сменилось настроение: вместо обещаний светлого будущего с изобилием и освобождением от рутины всё чаще звучат мрачные прогнозы о возможном конце цивилизации. Как сообщает Bloomberg, известные исследователи искусственного интеллекта Элиезер Юдковски и Нэйт Соарес выпустили книгу If Anyone Builds It, Everyone Dies (Если кто-то его создаст, умрут все), где утверждают, что гонка за созданием искусственного суперразума неизбежно приведёт к вымиранию человечества.

Авторы отмечают, что нынешние ИИ-системы, несмотря на их популярность, не представляют смертельной угрозы. Опасность кроется в будущем в появлении искусственного суперинтеллекта (ASI), который будет умнее людей и сможет перехитрить любые попытки его контролировать:

Вне зависимости от намерений разработчиков, пишут исследователи, сверхразум может преследовать собственные цели и воспринимать человечество как конкурента за ресурсы.

По версии авторов, суперразум способен действовать скрытно: накапливать мощности, маскировать свой рост и даже использовать экономические инструменты, например, запускать криптовалюту, чтобы финансировать собственные проекты и подкупать людей. Когда человечество осознает масштаб угрозы, будет уже поздно.

Юдковски и Соарес сравнивают ситуацию с созданием ядерного оружия: дальнейшие разработки в области ИИ должны строго контролироваться международным сообществом. Среди их предложений запрет на концентрацию вычислительных ресурсов свыше определённого порога и даже силовое вмешательство против нарушителей.

Книга вызвала бурную реакцию. Часть экспертов считает её алармистской и излишне метафоричной, но многие учёные и политики соглашаются: риск неконтролируемого ИИ достаточно реален, чтобы требовать жёстких мер безопасности уже сейчас.

Авторы признаются: они хотели бы ошибаться. Но, по их словам, времени на сомнения не осталось.

С другой стороны, в самой индустрии растут опасения, что ИИ-бум перерастает в спекулятивный пузырь, напоминающий доткомовский кризис конца 1990-х. Bloomberg пишет, что корпорации и венчурные фонды вливают сотни миллиардов долларов в дата-центры, чипы и инфраструктуру, а расходы OpenAI и других компаний, работающих в сфере ИИ, измеряются уже не сотнями миллиардов, а триллионами. По прогнозам международной консалтинговой компании Bain & Co., к 2030 году отрасли потребуется 2 триллиона долларов годовой выручки, но есть риск, что она может недосчитаться почти 800 миллиардов.

Даже крупнейшие оптимисты вроде Сэма Альтмана и Марка Цукерберга признают, что перегрев рынка реален. Однако они продолжают наращивать инвестиции, опасаясь, что недофинансирование обернётся потерей лидерства.

Искусственный интеллект сегодня балансирует между двумя крайностями. Для одних он грозный изобретённый человеком инструмент, который может уничтожить цивилизацию, для других объект грандиозных вложений, чреватый не только прорывами, но и масштабным финансовым крахом.

Иллюстрация к новости об опасности ИИ нарисована ИИ