«Яндекс» и МФТИ научили нейросеть оценивать ответы онлайн-этапа школьной олимпиады «Турнир Ломоносова». YandexGPT проверила 35 тыс. работ по трем предметам — физике, химии и астрономии. Это позволило сократить этап оценки работ с трех месяцев до одного, сохранив качество проверки на прежнем уровне. В итоге участники быстрее получили результаты, а экспертам МФТИ не пришлось проверять все ответы вручную.
Турнир имени Ломоносова — соревнование для школьников 6—11-х классов по математике, физике, астрономии, истории, лингвистике и другим предметам, которое состоит из двух этапов: онлайн-отбора и финального очного турнира. Олимпиада проходит ежегодно с 1978 года. Ее проводят Центр педагогического мастерства московского Департамента образования, Московский центр непрерывного математического образования, МГУ и МФТИ. Каждый год в турнире участвуют более 35 тыс. школьников. Последние годы осенний тур проходит в онлайн-формате на платформе «Сириус», а задания по естественно-научным предметам составляются и проверяются комиссией МФТИ.
Разработчики «Яндекса» вместе с экспертами Физтеха научили YandexGPT определять, соответствует ли ответ критериям оценки. Если нейросеть не находила необходимых соответствий, то выставляла ноль баллов. Такая автоматическая проверка позволила экспертам уделить больше внимания работам, набравшим больше баллов.
Модель обучали на решениях онлайн-этапов прошлых лет. Чтобы убедиться в точности работы алгоритма, эксперты перепроверили часть оцененных нейросетью работ. Результаты показали, что корректность оценки работ соответствуют уровню предыдущих лет — 95%.
В течение ноября участники могли подать апелляцию и заявить о несогласии с выставленными баллами. Количество апелляций осталось на уровне прошлого года. Это говорит о том, что использование нейросети не снизило качество оценки работ, при этом ее скорость существенно увеличилась. А полная экспертная проверка всех решений с баллом выше нуля исключила риск получения незаслуженных наград.
Участники олимпиады по физике, химии и астрономии уже получили в ноябре свои результаты и грамоты. В дальнейшем организаторы планируют применять YandexGPT и в других олимпиадах, где есть онлайн-туры, что позволит не только сократить сроки проверки, но и увеличить количество заданий с развернутым ответом на онлайн-турах олимпиад.
