Anthropic заявила о приближении ИИ к способности самостоятельно совершенствоваться

В то же время разработчик признает риски такого процесса и подчеркивает необходимость контроля со стороны человека.

Об этом говорится в обновленном документе S-1/A, который компания Anthropic подала в Комиссию по ценным бумагам и биржам США (SEC) 2 ноября, передает nv.ua со ссылкой на techcrunch.com

В документе компания описала возможность достижения так называемого рекурсивного самосовершенствования (RSI). Это этап, на котором искусственный интеллект обучается настолько эффективно, что может использовать собственные возможности для создания еще более мощных моделей. Такой процесс потенциально способен резко ускорить развитие ИИ.

Anthropic отмечает, что уже использует искусственный интеллект в собственных исследованиях и разработках. Однако это создает риск того, что возможности новых моделей будут расти быстрее, чем компания будет успевать разрабатывать и проверять меры безопасности.

В документе также говорится, что ранее компания не всегда своевременно замечала значительное ускорение развития своих моделей. В будущем такая ситуация может повториться.

Согласно внутренним оценкам Anthropic, компания может вскоре достичь уровня, определенного в ее политике ответственного масштабирования и предусматривающего «резкое ускорение прогресса благодаря ИИ».

В то же время Anthropic подчеркивает, что ни одна из ее нынешних моделей еще не преодолела этот порог. Компания продолжает анализировать данные и оценивать возможности своих систем.

Разработчик также заявил, что в ближайшее время не планирует полностью передавать ИИ разработку следующих поколений передовых моделей без существенного контроля со стороны людей. Anthropic рассматривает возможность обновления своей политики безопасности, чтобы сохранить контроль человека над этим процессом.

В компании считают, что использование ИИ для самосовершенствования может принести значительную пользу, в частности ускорить научные открытия и повысить продуктивность. В то же время такое развитие может создать серьезные угрозы, если возможности систем начнут расти быстрее, чем способность людей их контролировать.

Некоторые скептики отмечают, что документ S-1/A выполняет одновременно информационную и рекламную функции, поэтому заявления о близости к созданию ИИ, способного к самостоятельному развитию, могут быть частью продвижения компании.

Тем не менее, за прошедший год возможности Claude в области программирования, математики и кибербезопасности существенно возросли. В компании Anthropic считают, что потенциальное приближение к рекурсивному самосовершенствованию требует уделять особое внимание вопросам безопасности и контроля над развитием искусственного интеллекта.