Крупнейшие ИИ-компании начали тайно готовиться к апокалипсису: опасаются, что ИИ выйдет из-под контроля

Крупнейшие ИИ-компании, включая OpenAI и Anthropic, начали заранее разрабатывать сценарии действий на случай масштабной катастрофы, связанной с искусственным интеллектом. Об этом пишет Axios со ссылкой на источники в отрасли.

Компании моделируют разные варианты: от крупной кибератаки и сбоев критической инфраструктуры до ситуации, в которой автономная ИИ-система выходит за предусмотренные ограничения. Параллельно они обсуждают, как действовать сразу после такого инцидента и как объяснять произошедшее властям и общественности.

По данным Axios, некоторые участники индустрии считают серьезный ИИ-инцидент вопросом времени и допускают, что он может произойти уже в ближайшие месяцы. При этом речь идет не о подтвержденной угрозе «восстания машин», а о подготовке к широкому набору рисков — от злоупотребления мощными моделями до потери контроля над их поведением.

В последние месяцы OpenAI, Anthropic и другие разработчики уже усиливали тестирование систем на опасные сценарии, расширяли red-team-проверки и готовили механизмы экстренного ограничения или остановки моделей. После первого действительно крупного инцидента компании ожидают и резкой реакции регуляторов — вплоть до требований приостановить отдельные модели или ужесточить правила их разработки и выпуска.

Количество новостей о моделях ИИ, которые неожиданно вышли из-под контроля и что-то сломали, действительно начало кратно расти с лета этого года. Примерно после релиза Fable от Anthropic, который оказался настолько хорош, что его запретили власти США, повалил вал новостей о взломах и странном поведении искусственного интеллекта.