Скопировать ссылкуNYT: ИИ-поисковик AI Overviews от Google допускает миллионы ошибок ежедневно
Функция «Режим ИИ» (AI Overviews) в поисковой системе Google может генерировать значительное число некорректных ответов, несмотря на высокий общий уровень точности.
Работающий на базе ИИ Gemini инструмент демонстрирует точность порядка 90%. При этом даже относительно небольшой процент ошибок при масштабах поискового трафика трансформируется в десятки миллионов некорректных ответов ежедневно, передает nytimes.com
Для оценки качества работы «Режима ИИ» использовался бенчмарк SimpleQA от OpenAI, включающий более 4 тыс. вопросов с проверяемыми ответами, а также собственные инструменты анализа Oumi. По данным тестирования, при использовании модели Gemini 2.5 точность составляла около 85%, тогда как после перехода на Gemini 3 показатель вырос до 91%.
В ходе исследования были выявлены случаи некорректной агрегации информации из источников. В одном из примеров система неверно определила дату преобразования дома Боба Марли в музей, несмотря на наличие корректных данных в первоисточниках, что указывает на проблемы с интерпретацией и выбором фактов.
В Google оспорили выводы исследования. Представитель компании Нед Адрианс заявил, что используемый бенчмарк SimpleQA может содержать ошибки и не отражает реальные пользовательские сценарии. По его словам, более релевантной метрикой является тест SimpleQA Verified с меньшим, но тщательно проверенным набором вопросов. Кроме того, в компании считают, что методология исследования не учитывает специфику реальных поисковых запросов.
Скопировать ссылку