ChatGPT показал лучшие результаты на вступительных экзаменах вуза Японии

Чат-бот ChatGPT показал наилучшие результаты при проверке ИИ-систем на соответствие вступительным экзаменам японских вузов. Об этом пишет LifePrompt.

В рамках исследования специалисты сопоставили возможности трёх моделей искусственного интеллекта — ChatGPT, Gemini от Google и Claude Opus. По итогам серии испытаний ChatGPT набрал максимальный балл в девяти из пятнадцати предметов. Средний уровень точности его ответов составил 97. Наиболее уверенные результаты были получены в математике, информатике, химии и физике, а также в базовых разделах биологии. Высокие показатели модель продемонстрировала и в блоках, связанных с политикой и экономикой.

Claude Opus удалось показать максимальный результат в трёх дисциплинах, тогда как Gemini достиг верхней планки лишь в двух. Самым слабым направлением для ChatGPT оказался японский язык: в этом разделе система дала 90 процентов корректных ответов. Авторы исследования связали это с трудностями анализа эмоциональных состояний и мотивации персонажей, характерных для литературных текстов.

LifePrompt проводит подобные тесты на протяжении четырёх лет. Если в 2024 году ChatGPT в среднем правильно отвечал на 66 процентов вопросов, то спустя год этот показатель вырос до 91 процента.