Блоги21.10.2023

ЕГЭ будет проверять нейросеть: как искусственный интеллект стал частью госэкзаменов в России

Нейросеть впервые сдала экзамен по литературе и даже написала сочинение. Искусственный интеллект подбирается к образованию и даже внедряется в систему госэкзаменов. Подробнее об этом рассказывает наш постоянный ЕГЭ-блогер Михаил Ланцман.

Как нейросеть сдаёт ЕГЭ

В октябре 2023 года языковая модель YandexGPT 2 успешно сдала ЕГЭ по литературе. Нейросеть не только ответила на тестовые вопросы, но и выполнила творческое задание (сочинение). Впервые нейросеть не только справилась с тестом, но и написала полноценное эссе.

Языковая модель от Яндекса прошла испытание несколько раз, прорешав несколько вариантов заданий ЕГЭ, и набрала в среднем 55 баллов. Напоминаем, что в 2023 году средний балл ЕГЭ по литературе составил 72 балла, а в 2022 — 64. Так что YandexGPT с первого раза показала отличный результат — преодолела минимальный порог и почти приблизилась к среднему результату по стране среди реальных выпускников. То ли ещё будет!

В пресс-службе Рособрнадзора уже сообщили, что развитие искусственного интеллекта не несет угрозы для системы единого государственного экзамена, так как использование гаджетов запрещено во время экзамена, и его участники не могут ими воспользоваться.

Попытки использовать нейросеть для прохождения заданий ЕГЭ предпринимались и раньше. В 2019 году Сбербанк презентовал новый суперкомпьютер — всего в России таких 3. Для сравнения, в США уже 100 таких машин, у Китая — более 200. Созданием российского чуда занимались СберКлауд (SberCloud) и американская кампания Nvidia. Назвали супермозг Кристофари (Christofari) — в честь первого российского клиента Сбербанка. Этот суперкомпьютер самый мощный в нашей стране, а в мире он занял 29-е место. Одним из тестовых заданий для суперкомпьютера было прохождение ЕГЭ по русскому языку, причём ИИ должен был не только ответить на тестовые вопросы, но и написать сочинение.

В начале ноября 2019 года на конференции по искусственному интеллекту конференции AI Journey заместитель председателя правления Сбербанка Александр Ведяхин озвучил сенсационные новости: искусственный интеллект Кристофари сдал ЕГЭ по русскому языку на 63 тестовых балла из 100. Тестовые задания для компьютера усложнили, так что баллов могло бы быть и больше. А вот задание с развёрнутым ответом дали точно такое же, как предлагают на экзаменах школьникам. Интересно, что половина из проверяющих сочинение экспертов-педагогов даже не догадались, что проверяют работу, написанную искусственным интеллектом. Представляем, как они были удивлены, узнав правду.

Как ИИ участвует в проверке ЕГЭ

Летом 2023 года появились первые дискуссии по поводу того, может ли искусственный интеллект заменить экспертов ЕГЭ во время проверки тестовых и творческих заданий единого госэкзамена. Одна из онлайн-школ рассказала, что их чат-бот на базе ChatGPT для подготовки учеников к ЕГЭ по английскому теперь готов к внедрению в его систему оценки ответов единого государственного экзамена.

Слепые тестирования чат-бота показали, что он проверяет отдельные критерии и аспекты ответов не хуже, чем эксперт ЕГЭ, в 68% случаев. В 61% случаев дает качественную аргументацию оценки за задание, объясняя, почему снижен балл. Обучение чат-бота продолжается.

Не все знают, что ИИ участвует в проверке реальных работ выпускников на ЕГЭ, начиная с 2019 года. 20 ноября 2019 года руководитель Рособрнадзора Сергей Кравцов дал развёрнутое интервью «Известиям», где рассказал, как искусственный интеллект в экспериментальном режиме помогает выявить нарушения на ЕГЭ, производя качественный анализ почерка:

«В прошлом году, в порядке эксперимента по отдельным предметам, мы попробовали использовать возможности специальной программы, можно сказать, части прообраза системы искусственного интеллекта. С использованием этой программы дополнительно после всех состоявшихся экзаменов автоматически были проанализированы ответы выпускников, написанные ими по разным предметам ЕГЭ, чтобы определить, писал ли эти несколько работ один и тот же участник. Из 700 тысяч только 75 вызвали некоторые подозрения. Работы были из разных регионов. Мы передали их на почерковедческую экспертизу, и по 11 работам подозрения подтвердились. Рособнадзор на днях направил в правоохранительные органы эти материалы, чтобы они провели соответствующие мероприятия».

Как ИИ следит за списыванием на ЕГЭ

Видеонаблюдение на ЕГЭ ведётся с 2014 года. До 2012 года никакой системы видеонаблюдения на ЕГЭ не было, она появилась на экзаменах после выборов президента РФ, которые состоялись 4 марта 2012 года. Именно эти выборы ознаменовались установкой видеокамер на большинстве избирательных участков страны. Всю инфраструктуру, задействованную на выборах, решено было использовать для обеспечения прозрачности государственной итоговой аттестации школьников.

С этого момента началась массовая установка видеооборудования по всей стране. Качество видеоизображения с каждым годом становилось лучше, а в 2020 году запустили специальный алгоритм, анализирующий поведенческие реакции участников ЕГЭ. Он анализирует последовательность изображений, которые поступают с видеокамер в режиме реального времени или из архивных записей, и находит среди них возможные нарушения: использование шпаргалок, телефона и других девайсов.

В своём официальном блоге «Ростелеком» рассказал, как обучался алгоритм:

«Чтобы алгоритм точно распознавал поведение участников ЕГЭ и корректно фиксировала нарушения, его нужно было обучить на большом массиве данных. Что мы и сделали, собрав видеозаписи с уже зарегистрированными нарушениями на экзаменах за 2018–2019 годы.

Процесс обучения состоял из нескольких этапов:

На первом видеозаписи прогонялись через алгоритм детектирования людей с использованием нейросети Yolo. В результате получалось видео с маркированными участками, где люди находились в течение долгого времени. Это было нужно, чтобы отсечь преподавателей, которые ходят по коридорам, например. Каждому региону с человеком присваивался идентификатор, и обработанное видео с отмеченными регионами и идентификаторами сохранялось.
Затем это видео просматривал человек, который отмечал как можно более точно моменты начала и конца нарушения (если оно, конечно, было), а также идентификаторы «нарушителей». Также сохранялись моменты отсутствия нарушений как примеры нормального поведения, которые тоже нужны для обучения алгоритма. Так мы выявили еще и типичные нарушения — использование шпаргалок и телефонов, фотографирование материалов.

Нам очень помогла открытая библиотека OpenPose, которая используется для определения положения людей в кадре, их поз и координат ключевых точек, относящихся к разным частям тела».

Первая версия алгоритма базировалась на использовании RandomForest — классификатора, обученного на результатах работы OpenPose. Но у нее был существенный недостаток: большая часть потенциально полезных данных просто выбрасывалась. Например, невозможно было увидеть, что у человека в руке — ручка или шпаргалка.

В 2020 году «Ростелеком» провёл исследования по улучшению качества работы алгоритма с использованием нейросетевых технологий Human Activity Recognition, архитектур SlowFast, I3D и C3D.

На сегодняшний день технология видеоаналитики отслеживает видеопоток из аудитории в режиме онлайн, а между экзаменами — архивные видео из офлайна. Для сравнения: один наблюдатель может следить максимум за четырьмя аудиториями одновременно, а алгоритм может обрабатывать видео из более чем 2000 аудиторий за один экзаменационный день.

В дальнейшем применение искусственного интеллекта во время экзаменов может позволить полностью исключить человеческий фактор и оставить онлайн-наблюдателей только для верификации нарушений, выявленных нейросетью. В 2022 году «машинное зрение» выявило почти 12 тысяч нарушений, но далеко не все были подтверждены после проверки.

Аналитики РБК предсказывают: «Сейчас в обсуждении будущего ЕГЭ ставят рубеж — 2030 год. Именно до этого срока в России реализуют проект „Цифровая экономика“. Как считает Оксана Решетникова, директор Федерального института педагогических измерений, к 2030 году ЕГЭ будут проводить с использованием планшетов и других гаджетов, а бумажные бланки останутся в прошлом, задания будут передавать в аудитории в день экзамена по защищенным каналам, а проверка заданий полностью станет задачей искусственного интеллекта».

Вывод: как видите, использование искусственного интеллекта очень активно внедряется в сферу образования, в частности — используется на ЕГЭ. Технологии наступают на пятки классическим форматам. Именно по этой причине я ещё раз призываю всех выпускников готовиться к ЕГЭ самостоятельно и качественно.

Подписывайтесь на мой блог. Буду в течение всего учебного года рассказывать про ЕГЭ и ОГЭ, а также о поступлении в вузы и колледжи. Узнавайте все новости экзаменов и приёмных кампаний первыми!

Вы находитесь в разделе «Блоги». Мнение автора может не совпадать с позицией редакции.

Фото: Ivan Baranov / Shutterstock / Fotodom