Как студенты НГУ сдавали экзамен чат-боту в Telegram

Новосибирская компания Neuro Lab! Algorithms разработала бота-экзаменатора в Telegram, который испытали во время экзамена на студентах экономического факультета Новосибирского государственного университета. Студентам нужно было ответить на 150 вопросов за 45 минут. Разработчик бота Дмитрий Марков рассказывает, как это было.

Будущее наступило: 4 апреля наш бот-преподаватель принял экзамен у студентов ЭФ НГУ. Ну или студенты сдавали экзамен чат-боту. Экзамен проходил в рамках предмета «Основы бизнеса». Основной замысел экзамена — оценка владения ключевыми «бизнесовыми» и управленческими понятиями.

Механика бота-преподавателя

1. В бот загружено 150 вопросов.
2. Формат вопросов — напиши слово — ответ.
3. За каждый правильный ответ студент (команда студентов) получает два балла, за неправильный — ноль. В конце баллы суммируются и прибавляются в общий зачет по курсу.
4. На занятии студенты получают фразу — команду, которую нужно послать чат-боту для старта экзамена.
5. После старта у студента есть 45 минут, чтобы набрать как можно больше баллов.

Вопросы по структуре одинаковые:

1. Присылается картинка — иллюстрация — ассоциация с понятием.
2. Следом идёт сообщение с определением понятия и предложение — пример с использованием «загаданного» понятия (оно вырезано и заменено на многоточие).

Аудитория студентов — 85 человек. Есть возможность работать в парах, которая отлично решает две задачи: во-первых, нет дискриминации по признаку «у меня нет смартфона» или"нет памяти для Telegram». Во-вторых, развитие коммуникативных навыков по теме, тренировка умения аргументировать свою точку зрения.

Первые пять минут с начала экзамена традиционно ушли на отдельные индивидуальные консультации/пересказы того, что «написано на доске»

После того как все белые пятна были закрыты — наступила идилия. Образовательный процесс пошёл без преподавателя. Личные ощущения: это было ново и необычно. Хоть образовательных ботов используем уже почти как год, но вот такая ситуация: несколько десятков человек в замкнутом пространстве сосредоточено общаются с ботом и майнят баллы — это принципиально новое.

Даже начал ловить себя на мысли «а зачем теперь я нужен на паре»

Процесс запущен, преподаватель не нужен, моё вмешательство будет только мешать/отвлекать от диалога с ботом. Пришлось исчезнуть из эфира, затаиться и ждать финала. Все ответы записывались в базу, баллы начислялись мнгновенно, обратный отсчет 45 минут добавлял адреналина студентам. Окончание экзамена предсказуемо привело к весьма эмоциональным перестрелкам между студентами на тему «а у тебя сколько?».

Моментальная обратная связь — одна из ключевых фишек образовательного чат-бота. Не нужно ждать часы, дни, недели — пока преподаватели проверят и оценят твою работу

Результат виден здесь и сейчас. Да ещё в твоём телефоне. Анализ результатов показал, что большинство студентов предпочитали «долго думать (гуглить?)» ответы, в то время как лидеры, набравшие больше всего баллов, избрали стратегию быстрых ответов.

При этом никто из студентов не успел ответить на 150 вопросов за 45 минут. Лидер, набравший 190 очков (из 302), ответил и на большее количество вопросов — 120 (80% вопросов). Две трети студентов думали дольше над каждым вопросом/ответом.

Итак, 45 минут работы чат-бота в режиме экзамена это:

• 3 145 проверенных ответов
• 4 370 начисленных баллов
• 10 064 высланных сообщения

И, конечно, положительные отзывы и небывалый эмоциональный подъём у студентов. Кажется, задумка оправдала себя на 1000%. Случилась не просто и не столько автоматизация процесса, а новый формат, новые эмоции, новый результат. Видео с экзамена можно посмотреть вот тут. В ближайшее время планируем загрузить в бота вопросы по географии за 9 класс, и организовать в боте режим тренажёра.