ЕГЭ будет проверять нейросеть: как искусственный интеллект стал частью госэкзаменов в России

Нейросеть впервые сдала экзамен по литературе и даже написала сочинение. Искусственный интеллект подбирается к образованию и даже внедряется в систему госэкзаменов. Подробнее об этом рассказывает наш постоянный ЕГЭ-блогер Михаил Ланцман.
Как нейросеть сдаёт ЕГЭ
В октябре 2023 года языковая модель YandexGPT 2 успешно сдала ЕГЭ по литературе. Нейросеть не только ответила на тестовые вопросы, но и выполнила творческое задание (сочинение). Впервые нейросеть не только справилась с тестом, но и написала полноценное эссе.
Языковая модель от Яндекса прошла испытание несколько раз, прорешав несколько вариантов заданий ЕГЭ, и набрала в среднем 55 баллов. Напоминаем, что в 2023 году средний балл ЕГЭ по литературе составил 72 балла, а в 2022 — 64. Так что YandexGPT с первого раза показала отличный результат — преодолела минимальный порог и почти приблизилась к среднему результату по стране среди реальных выпускников. То ли ещё будет!
В пресс-службе Рособрнадзора уже сообщили, что развитие искусственного интеллекта не несет угрозы для системы единого государственного экзамена, так как использование гаджетов запрещено во время экзамена, и его участники не могут ими воспользоваться.
Попытки использовать нейросеть для прохождения заданий ЕГЭ предпринимались и раньше. В 2019 году Сбербанк презентовал новый суперкомпьютер — всего в России таких 3. Для сравнения, в США уже 100 таких машин, у Китая — более 200. Созданием российского чуда занимались СберКлауд (SberCloud) и американская кампания Nvidia. Назвали супермозг Кристофари (Christofari) — в честь первого российского клиента Сбербанка. Этот суперкомпьютер самый мощный в нашей стране, а в мире он занял 29-е место. Одним из тестовых заданий для суперкомпьютера было прохождение ЕГЭ по русскому языку, причём ИИ должен был не только ответить на тестовые вопросы, но и написать сочинение.
В начале ноября 2019 года на конференции по искусственному интеллекту конференции AI Journey заместитель председателя правления Сбербанка Александр Ведяхин озвучил сенсационные новости: искусственный интеллект Кристофари сдал ЕГЭ по русскому языку на 63 тестовых балла из 100. Тестовые задания для компьютера усложнили, так что баллов могло бы быть и больше. А вот задание с развёрнутым ответом дали точно такое же, как предлагают на экзаменах школьникам. Интересно, что половина из проверяющих сочинение экспертов-педагогов даже не догадались, что проверяют работу, написанную искусственным интеллектом. Представляем, как они были удивлены, узнав правду.
Как ИИ участвует в проверке ЕГЭ
Летом 2023 года появились первые дискуссии по поводу того, может ли искусственный интеллект заменить экспертов ЕГЭ во время проверки тестовых и творческих заданий единого госэкзамена. Одна из онлайн-школ рассказала, что их чат-бот на базе ChatGPT для подготовки учеников к ЕГЭ по английскому теперь готов к внедрению в его систему оценки ответов единого государственного экзамена.
Слепые тестирования чат-бота показали, что он проверяет отдельные критерии и аспекты ответов не хуже, чем эксперт ЕГЭ, в 68% случаев. В 61% случаев дает качественную аргументацию оценки за задание, объясняя, почему снижен балл. Обучение чат-бота продолжается.
Не все знают, что ИИ участвует в проверке реальных работ выпускников на ЕГЭ, начиная с 2019 года. 20 ноября 2019 года руководитель Рособрнадзора Сергей Кравцов дал развёрнутое интервью «Известиям», где рассказал, как искусственный интеллект в экспериментальном режиме помогает выявить нарушения на ЕГЭ, производя качественный анализ почерка:
«В прошлом году, в порядке эксперимента по отдельным предметам, мы попробовали использовать возможности специальной программы, можно сказать, части прообраза системы искусственного интеллекта. С использованием этой программы дополнительно после всех состоявшихся экзаменов автоматически были проанализированы ответы выпускников, написанные ими по разным предметам ЕГЭ, чтобы определить, писал ли эти несколько работ один и тот же участник. Из 700 тысяч только 75 вызвали некоторые подозрения. Работы были из разных регионов. Мы передали их на почерковедческую экспертизу, и по 11 работам подозрения подтвердились. Рособнадзор на днях направил в правоохранительные органы эти материалы, чтобы они провели соответствующие мероприятия».
Как ИИ следит за списыванием на ЕГЭ
Видеонаблюдение на ЕГЭ ведётся с 2014 года. До 2012 года никакой системы видеонаблюдения на ЕГЭ не было, она появилась на экзаменах после выборов президента РФ, которые состоялись 4 марта 2012 года. Именно эти выборы ознаменовались установкой видеокамер на большинстве избирательных участков страны. Всю инфраструктуру, задействованную на выборах, решено было использовать для обеспечения прозрачности государственной итоговой аттестации школьников.
С этого момента началась массовая установка видеооборудования по всей стране. Качество видеоизображения с каждым годом становилось лучше, а в 2020 году запустили специальный алгоритм, анализирующий поведенческие реакции участников ЕГЭ. Он анализирует последовательность изображений, которые поступают с видеокамер в режиме реального времени или из архивных записей, и находит среди них возможные нарушения: использование шпаргалок, телефона и других девайсов.
В своём официальном блоге «Ростелеком» рассказал, как обучался алгоритм:
«Чтобы алгоритм точно распознавал поведение участников ЕГЭ и корректно фиксировала нарушения, его нужно было обучить на большом массиве данных. Что мы и сделали, собрав видеозаписи с уже зарегистрированными нарушениями на экзаменах за 2018–2019 годы.
Процесс обучения состоял из нескольких этапов:
- На первом видеозаписи прогонялись через алгоритм детектирования людей с использованием нейросети Yolo. В результате получалось видео с маркированными участками, где люди находились в течение долгого времени. Это было нужно, чтобы отсечь преподавателей, которые ходят по коридорам, например. Каждому региону с человеком присваивался идентификатор, и обработанное видео с отмеченными регионами и идентификаторами сохранялось.
- Затем это видео просматривал человек, который отмечал как можно более точно моменты начала и конца нарушения (если оно, конечно, было), а также идентификаторы «нарушителей». Также сохранялись моменты отсутствия нарушений как примеры нормального поведения, которые тоже нужны для обучения алгоритма. Так мы выявили еще и типичные нарушения — использование шпаргалок и телефонов, фотографирование материалов.
Нам очень помогла открытая библиотека OpenPose, которая используется для определения положения людей в кадре, их поз и координат ключевых точек, относящихся к разным частям тела».
Первая версия алгоритма базировалась на использовании RandomForest — классификатора, обученного на результатах работы OpenPose. Но у нее был существенный недостаток: большая часть потенциально полезных данных просто выбрасывалась. Например, невозможно было увидеть, что у человека в руке — ручка или шпаргалка.
В 2020 году «Ростелеком» провёл исследования по улучшению качества работы алгоритма с использованием нейросетевых технологий Human Activity Recognition, архитектур SlowFast, I3D и C3D.
На сегодняшний день технология видеоаналитики отслеживает видеопоток из аудитории в режиме онлайн, а между экзаменами — архивные видео из офлайна. Для сравнения: один наблюдатель может следить максимум за четырьмя аудиториями одновременно, а алгоритм может обрабатывать видео из более чем 2000 аудиторий за один экзаменационный день.
В дальнейшем применение искусственного интеллекта во время экзаменов может позволить полностью исключить человеческий фактор и оставить онлайн-наблюдателей только для верификации нарушений, выявленных нейросетью. В 2022 году «машинное зрение» выявило почти 12 тысяч нарушений, но далеко не все были подтверждены после проверки.
Аналитики РБК предсказывают: «Сейчас в обсуждении будущего ЕГЭ ставят рубеж — 2030 год. Именно до этого срока в России реализуют проект „Цифровая экономика“. Как считает Оксана Решетникова, директор Федерального института педагогических измерений, к 2030 году ЕГЭ будут проводить с использованием планшетов и других гаджетов, а бумажные бланки останутся в прошлом, задания будут передавать в аудитории в день экзамена по защищенным каналам, а проверка заданий полностью станет задачей искусственного интеллекта».
Вывод: как видите, использование искусственного интеллекта очень активно внедряется в сферу образования, в частности — используется на ЕГЭ. Технологии наступают на пятки классическим форматам. Именно по этой причине я ещё раз призываю всех выпускников готовиться к ЕГЭ самостоятельно и качественно.
Подписывайтесь на мой блог. Буду в течение всего учебного года рассказывать про ЕГЭ и ОГЭ, а также о поступлении в вузы и колледжи. Узнавайте все новости экзаменов и приёмных кампаний первыми!
Вы находитесь в разделе «Блоги». Мнение автора может не совпадать с позицией редакции.
Фото: Ivan Baranov / Shutterstock / Fotodom
Популярные комментарии
Владимир КунаевВ РФ большая беда в сфере психологии. Нет четких профстандартов, нет справедливых механизмов проверки компетенций. В добавок ко всему этому действительно толковые молодые специалисты не могут выйти на рынок из-за массивного пейвола (из личного опыта). Проблем столько, что на целый цикл статей хватило бы, если погружаться.
Я редактор. Вот почему я не доверяю всем, кто называет себя психологом
Светлана ПлехановаЯ Вас умоляю, по закону ничего нельзя сделать. Многие молодые люди себе не представляют, как достаются деньги! Им кажется, что булки растут на деревьях, а пироги падают с неба. Многое вокруг пропагандирует светский образ жизни, сидение на чужой шее, бездумное, безалаберное отношение к деньгам. Неуважение к чужому труду тоже в чести. Многие унижают тружеников сферы обслуживания. А эти люди делаю нашу жизнь комфортной. Их приветливая улыбка, вежливая речь дарят хорошее настроение!
Дочь учится на платном и даже подработку не ищет – живет за наш счет, и ей нормально. Как с ней поговорить?
АндрейАбсолютно согласен! Надо ещё и математику убрать, а то учат детей думать и раскладывать по полочкам! И читать и грамотно общаться сейчас не в моде. Есть же нейросеть! И комментарии поможет написать! Отправлять в школу только на физкультуру, труды и ОБЗиР. А все остальные предметы платно и по желанию! Хотя и эти три предмета требуют особой подготовки, поэтому их надо тоже по желанию, а лучше вообще платно!
«Врачей жалко. А вас, тварей, нет». Честный монолог учительницы о том, что стоит за особым статусом педагогов







