«Если кто-то создаст это, умрут все»: новая книга предсказывает гибель человечества от разрушительного искусственного интеллекта
В Силиконовой долине сменилось настроение: вместо обещаний светлого будущего с изобилием и освобождением от рутины всё чаще звучат мрачные прогнозы о возможном конце цивилизации. Как сообщает Bloomberg, известные исследователи искусственного интеллекта Элиезер Юдковски и Нэйт Соарес выпустили книгу If Anyone Builds It, Everyone Dies («Если кто-то его создаст, умрут все»), где утверждают, что гонка за созданием искусственного суперразума неизбежно приведёт к вымиранию человечества.
Авторы отмечают, что нынешние ИИ-системы, несмотря на их популярность, не представляют смертельной угрозы. Опасность кроется в будущем — в появлении искусственного суперинтеллекта (ASI), который будет умнее людей и сможет перехитрить любые попытки его контролировать:
«Вне зависимости от намерений разработчиков, — пишут исследователи, — сверхразум может преследовать собственные цели и воспринимать человечество как конкурента за ресурсы».
По версии авторов, суперразум способен действовать скрытно: накапливать мощности, маскировать свой рост и даже использовать экономические инструменты, например, запускать криптовалюту, чтобы финансировать собственные проекты и подкупать людей. Когда человечество осознает масштаб угрозы, будет уже поздно.
Юдковски и Соарес сравнивают ситуацию с созданием ядерного оружия: дальнейшие разработки в области ИИ должны строго контролироваться международным сообществом. Среди их предложений — запрет на концентрацию вычислительных ресурсов свыше определённого порога и даже силовое вмешательство против нарушителей.
Книга вызвала бурную реакцию. Часть экспертов считает её алармистской и излишне метафоричной, но многие учёные и политики соглашаются: риск неконтролируемого ИИ достаточно реален, чтобы требовать жёстких мер безопасности уже сейчас.
Авторы признаются: они хотели бы ошибаться. Но, по их словам, времени на сомнения не осталось.
С другой стороны, в самой индустрии растут опасения, что ИИ-бум перерастает в спекулятивный пузырь, напоминающий доткомовский кризис конца 1990-х. Bloomberg пишет, что корпорации и венчурные фонды вливают сотни миллиардов долларов в дата-центры, чипы и инфраструктуру, а расходы OpenAI и других компаний, работающих в сфере ИИ, измеряются уже не сотнями миллиардов, а триллионами. По прогнозам международной консалтинговой компании Bain & Co., к 2030 году отрасли потребуется 2 триллиона долларов годовой выручки, но есть риск, что она может недосчитаться почти 800 миллиардов.
Даже крупнейшие оптимисты вроде Сэма Альтмана и Марка Цукерберга признают, что перегрев рынка реален. Однако они продолжают наращивать инвестиции, опасаясь, что недофинансирование обернётся потерей лидерства.
Искусственный интеллект сегодня балансирует между двумя крайностями. Для одних он – грозный изобретённый человеком инструмент, который может уничтожить цивилизацию, для других — объект грандиозных вложений, чреватый не только прорывами, но и масштабным финансовым крахом.
Иллюстрация к новости об опасности ИИ нарисована ИИ
