Как эксперты занижают оценки на ЕГЭ: «Результат зависит от настроений проверяющего»
Одним из главных плюсов ЕГЭ называют объективность: проверяющие не знакомы с учениками, значит, предвзятое отношение исключено. Увы, это не всегда работает. Наш постоянный блогер, учитель обществознания Артём Русакович, рассказывает, как за один и тот же ответ одному ученику дают максимальный балл, а другому — ни одного. И апелляции не помогают.
В этом году ЕГЭ по обществознанию, кажется, побил все рекорды по произволу и субъективности оценок. Я решил исследовать работы разных учеников и посмотреть, каким образом оценка на экзамене зависит от капризов эксперта, проверяющего работу ученика. У меня получилось целое исследование, но я постарался всё максимально упростить, так что, надеюсь, любой желающий сможет понять, в чём именно здесь проблема.
В этом году в одном из вариантов ЕГЭ по обществознанию в 23-м задании нужно было «привести примеры законодательного регулирования экономической деятельности в России». Ученик мог получить один балл за каждый правильный ответ, но не более трёх баллов.
В заданиях такого типа, конечно, не может быть закрытого перечня правильных ответов. Эксперт, проверяющий работу, обычно имеет перед глазами несколько возможных примеров. А с ними идёт указание, что нужно засчитывать любые другие корректные примеры. Однако — внимание! — эксперты по-разному понимают, какие примеры будут корректными, а какие — нет. Если эксперт достаточно умный, он, конечно, разберётся и правильно всё оценит, если нет — то нет.
Итак, на вопрос «назовите примеры законодательного регулирования экономической деятельности» моя ученица Ника написала вот такой ответ.
Ответ, наверное, не самый удачный, поскольку, например, 1-й и 4-й пункты по сути дублируют друг друга — и там, и там речь идёт о защите прав потребителей. Тем не менее, здесь, на мой взгляд, верно указано, что государство во-первых прописывает определённые права для потребителей (п. 1), во-вторых, устанавливает налоги (п. 3) и в-третьих борется с монополизацией рынка (п. 5). В общем, несмотря на отдельные недостатки, всё довольно логично — есть три примера действия правовых норм, установленных государством и касающихся экономики.
Но эксперт, проверявший работу, посчитал, что ученица не заслуживает ни одного балла. А в обосновании написал, что в работе «нет указания на законодательные акты, регулирующие экономические отношения, что требовалось по условиям задания».
Ученица возразила, что в задании не требовали указать конкретный закон. Но на апелляции в чате эксперт написал, что «иначе, как через законодательство (указ, постановление, закон) проиллюстрировать законодательное регулирование экономической деятельности невозможно». Мол, это ж очевидно, что нужно сослаться на какой-то закон.
Повторюсь, такого требования в условиях задания не было. Однако, может, и правда здесь не обойтись без законодательных актов? Но открываем другую работу — её написал Леонид, ученик моего друга Антона, тоже преподавателя обществознания.
Итак, Леонид привёл следующие примеры законодательного регулирования экономической деятельности:
- установление минимального размера оплаты труда
- проведение антимонопольной политики и поддержка малого бизнеса
- контроль за трудоустройством несовершеннолетних
- запрет на нелегальный бизнес (например, торговлю наркотиками)
- запрет на игорный бизнес, кроме специально отведённых зон
При этом ни в одном пункте не упомянут никакой законодательный акт. Однако Леонид получил за это задание три балла из трёх.
То есть эксперт, проверявший его работу, посчитал, что упоминать законодательные акты необязательно. Достаточно того, что человек понимает, как именно законы могут регулировать экономические отношения. И с этим экспертом я полностью согласен.
Или вот, например, Аня, читательница моего паблика вконтакте. Она прислала свою работу:
В 23-м задании Аня привела такие примеры законодательного регулирования экономической деятельности:
- запрет на торговлю наркотиками
- антимонопольное законодательство
- законодательство о защите прав потребителей
- правовая база для предпринимательской деятельности.
Четвёртый пункт неконкретный, и за него явно не положено ни одного балла. Но первые три пункта вполне разумны и логичны. При этом здесь тоже нет указания на законодательные акты — есть лишь общее понятие («законодательство»). И даже это общее понятие упоминается только в пункте 2. Тем не менее, Аня получила за это задание три балла из трёх.
Повторюсь, эксперты, проверявшие работу Леонида и Ани, посчитали, что упоминания законодательных актов не нужны. А эксперт, проверявший работу Ники, сказал, что без этого обойтись невозможно. То есть этот эксперт по сути сам придумал критерий и в соответствии с ним выставил оценку — ноль баллов. Мне кажется, это, мягко говоря, несправедливо.
Ещё обратите внимание: у Ники, Леонида и Ани есть указание на то, что государство борется с монополизацией рынка или проводит антимонопольную политику. Но Нике этот ответ не засчитали, а вот Ане — засчитали. Насчёт Леонида неизвестно, поскольку у него, возможно, правильными посчитали остальные пункты.
Ну а другие эксперты придумывают свои критерии. Вот эту работу написала Анастасия — ученицы моей подруги Дарьи.
Анастасия тоже пыталась привести примеры законодательного регулирования экономической деятельности. Она упомянула, во-первых, возрастные ограничения — с какого возраста можно совершать те или иные сделки, во-вторых, правовое регулирование отношений работника и работодателя, в-третьих, то, что в России установлена рыночная экономическая система. Последний пункт мне кажется не очень удачным, но за первые два пункта я бы точно поставил два балла.
Однако Анастасия, как и Ника, получила ноль баллов.
После подачи на апелляцию эксперт написал ей, что ни один пример не является верным. А правильным могли бы быть налоговый кодекс, устанавливающий налоговую ставку, антимонопольная политика государства, порядок лицензирования банков и т. д.
Обратите внимание — «антимонопольная политика государства». Эксперт, проверявший Анастасию, говорит — если бы вы написали про антимонопольную политику, то могли бы получить один балл. А теперь посмотрите ещё раз работу Ники, которая тоже не получила ни одного балла, и в п. 5 мы увидим: «в России действует антимонопольная политика, направленная на поддержание конкуренции на рынке».
То есть эксперт, проверявший Нику, недоволен тем, что она написала про антимонопольную политику, а эксперт, проверявший Анастасию, недоволен тем, что она не написала про антимонопольную политику. Ну и два совершенно корректных ответа Анастасии — про возрастные ограничения на совершение сделок и про регулирование трудовых отношений — ей не засчитали.
И, наконец, последняя работа — это Вероника, ещё одна ученица моей подруги.
Она привела следующие примеры законодательного регулирования экономических отношений:
- закон о защите прав потребителей
- закон, регулирующий время продажи алкоголя
- закон, запрещающий некоторые виды экономической деятельности (например, проституцию и торговлю наркотиками)
- то, что кафе и рестораны должны «предоставлять отчёты о соответствии санитарных условий нормам».
Последний пункт мне кажется не очень удачным, но первые три вполне подходящие. Есть и ссылка на законы (как мы помним, это важно для некоторых экспертов), а два пункта практически совпадают с работой Ани — здесь тоже говорится про запрет на торговлю наркотиками и про закон о защите прав потребителей. Казалось бы, есть все условия, чтобы получить три балла за первые три пункта. Но нет — ей ставят один балл из трёх.
И эксперт пишет, что «в ответе нужно указать вид правоотношения и привести развернутые примеры, когда права одних субъектов обеспечиваются обязанностями других. Например, покупатель имеет право вернуть некачественный товар, а продавец обязан принять этот товар. Т. е. назвать обе стороны правоотношений».
И эксперт пишет, что «в ответе нужно указать вид правоотношения и привести развернутые примеры, когда права одних субъектов обеспечиваются обязанностями других. Например, покупатель имеет право вернуть некачественный товар, а продавец обязан принять этот товар. Т. е. назвать обе стороны правоотношений». Таким образом, этот эксперт придумал свой критерий для оценки — мол, в каждом пункте нужно было расписать, у кого и какие права и обязанности возникают благодаря законодательному регулированию экономики. Напомню, ни в одной из других работ (в том числе тех, которые получили максимальный балл) такого не было. Соответственно, это ещё один случай произвола и несправедливости.
Получается, каждый эксперт сам решает, какие примеры законодательного регулирования экономической деятельности являются хорошими, а какие — плохими. Кому-то кажутся подходящими антимонопольная политика, защита прав потребителей и запрет на торговлю наркотиками, а кто-то считает, что это некорректные и неподходящие примеры. Кому-то важны ссылки на законодательные акты, кому-то — нет. Короче говоря, сколько экспертов, столько и мнений.
Ещё один показательный пример, уже по поводу другого задания. Я сам второй год сдаю ЕГЭ, чтобы лучше понять, как проходит эта процедура и к чему нужно готовить учеников. И так случилось, что и в прошлом, и в нынешнем году в 25-м задании мне попался один и тот же вопрос. Нужно было дать определение термину «научное познание».
В прошлом году я написал, что «научное познание — это деятельность, направленная на получение объективных, проверяемых и открытых рациональной критике знаний».
В этом году я написал, что «научное познание — это деятельность, направленная на получение объективных и проверяемых знаний о человеке, природе и обществе»
В прошлом году я получил за свой ответ два балла, в этом году за почти тот же самый ответ — один балл. И хотя в общей сложности у меня 97 баллов, я решил подать на апелляцию, чтобы выяснить, в чём дело. Эксперт написал мне, что в определении нужно указывать минимум два существенных признака понятия, а у меня только один — «объективные и проверяемые знания».
Я возразил, что объективность и проверяемость — это вообще-то разные признаки. Он ответил, что сколько бы особенностей научного знания я не написал, это всё один признак.
Ещё я сказал, что «деятельность» — это родовая принадлежность понятия, которая, согласно критериям оценивания, тоже относится к существенным признакам.
Но эксперт сказал, что я неправильно понимаю критерии оценивания.
Справедливости ради, не все вопросы в ЕГЭ допускают такое произвольное толкование. Есть задания первой части в форме теста, есть и некоторые задания второй части с объективными критериями оценивания — например, обществознанческая задача в 27-м задании.
Поэтому, на мой взгляд, если ученик хорошо подготовлен, он может быть уверен, что наберёт примерно 80 баллов. А вот то, что выше — это уже лотерея, поскольку неизвестно, что взбредёт в голову эксперту, проверяющему работу. Соответственно, готовиться к ЕГЭ всё же нужно, если вы хотите набрать хотя бы 80 баллов. А если вы хотите больше — молитесь, чтобы вашу работу проверил умный и компетентный человек. Такое тоже иногда происходит.
«А король-то голый!». Историки — о системном кризисе ЕГЭ
В итоге экзамен, созданный для того, чтобы объективно оценивать знания учащихся, перестаёт выполнять эту функцию. Итоговый результат ученика начинает зависеть от настроения и взглядов человека, который будет проверять его работу. Этот человек может спокойно занизить ученику результат, а потом без проблем это обосновать. И конфликтная комиссия, которая выносит окончательное решение, скорее всего, встанет на его сторону. Это произошло и с моей ученицей, и с ученицами моей подруги — никому из них конфликтная комиссия за это задание баллы не повысила.
Мне кажется, это неправильно. Чтобы такого было меньше, рекомендую Федеральному институту педагогических измерений пересмотреть формулировки заданий и критерии оценивания.
(А для тех, кто больше любит смотреть и слушать видео, а не читать — мой ролик на эту же тему).
Вы находитесь в разделе «Блоги». Мнение автора может не совпадать с позицией редакции.
Все верно. Четко сформулировать, чтобы были ссылки не менее чем на 2 нормативных документа, причем на последнии редакции, с указанием номеров страниц и абзацев. Все формулировки должны быть исключительно из нормативной документации. Любые ошибки расматриваются как грубейшие. Ссылка на постановления ВС обязательны.