Проклятье университетских рейтингов

Увлечение университетскими рейтингами могло быть не столь ярым, если бы руководители разных уровней понимали выявленные ранее простые закономерности, которые делают идею продвижения в рейтингах контрпродуктивной. Постараемся коротко описать эффекты, которые известны многим, но, каким-то чудом, скрылись от внимания российских чиновников от образования и ректоратов многих ведущих вузов.

Основополагающим моментом здесь является закон Гудхарта (1975). Смысл его в том, что знание методики составления рейтинга предполагает подстраивание университета под эту методику и ее показатели (т.е., «хвост виляет собакой»). Таким образом, рейтинг превращается в самодавлеющий феномен, искажающий естественные стратегии университетов (или прикрывающий их полное отсутствие, что ещё хуже). Очевидно, что рейтинги как таковые в этом случае утрачивают свою чистоту и превращаются в деструктивный элемент воздействия на университеты. А само вмешательство серьезно подрывает надежность статистических измерений, поскольку появляются стимулы к искажению. Условно, если в рейтинге будет учитываться наличие круглой лужайки перед кампусом, то администрация вуза бросит все ресурсы на обустройство этой лужайки, мало заботясь об обновлении мультимедийного оборудования или о достойных кафедральных кабинетах, которые гораздо значимее в учебном процессе, определяющем ключевую целевую функцию университета.

Непосредственное приближение закона Гудхарта к системе образования дает закон Кемпбелла: чем больше используются количественные социальные индикаторы в принятии социальных решений, тем больше будет коррупционное давление, тем сильнее будет он подвержен искажающим влияниям, и тем более вероятно он будет извращать и нарушать социальные процессы, контролировать которые он предназначен. В переводе на человеческий язык это означает, что любые тесты являются адекватным индикатором достижений студентов только в условиях нормального классического обучения, направленного на освоение общих компетенций. Если же экзаменационные оценки становятся целью учебного процесса, то они утрачивают индикативную ценность и искажают систему нежелательным образом. В вузах это в полной мере раскрывается при прохождении так называемого «независимого тестового контроля», на результаты которого обращают внимание внешние ревизоры и эксперты.

В унисон описанным принципам действует и форма Арнольда-Фаулера (2011): когда достижение индикатора становится целью, он перестает быть хорошим индикатором. То есть, когда университеты начинают «работать» над улучшением некоторых показателей, это свидетельствует лишь о формальной адаптации их к существующей системе оценки. Например — максимизация удельного веса иностранных студентов в контингенте, невзирая на необучаемость части из них. Неприкасаемых двоечников не отчисляют, разлагая, тем самым учебную дисциплину, которая деградирует, как и результаты обучения студентов.

Наконец, еще одно уточнение закона Гудхарта дает волна де-Брюйна (2005): чем больше руководство полагается на количественную систему оценки эффективности, тем сильнее стимулы для работников демонстрировать некорректное поведение. Данный эффект имеет самое непосредственное отношение к оценке эффективности университетов (да, и госструктур). Как только появляются стимулы попасть в первые позиции рейтинга и получить за это материальные дивиденды, вся система рейтингования претерпевает серьезные искажения (у нас, вот, сначала речь шла о глобальном рейтинге университетов, потом как-то часто стали приводить рейтинги внутри BRICS, чаще стали звучать предметные рейтинги). Чтобы этого не происходило, методики составления рейтингов должны быть скрытыми, как, например, у S& P, Moody's, Fitch Ratings (правда, в этом случае коррупция неудержимо полезет из всех щелей). Это делает невозможным воспроизведение и предсказание результатов рейтинга и блокирует действие закона Гудхарта. Очевидно, что любая модель или система оценки индикаторов гораздо беднее изучаемой социальной системы. Ведь, между разными параметрами сложной системы существуют устойчивые связи, которые при взятии какого-то показателя под контроль, практически неизбежно разрушаются. Затягивание университета в гонку за рейтингами приводит к появлению избыточных механизмов, которые не делают систему совершеннее, зато дают искажения. Так, раньше в университете хорошим считался профессор, который активно консультировал и умел доступно объяснять сложные вещи, а сейчас университет предпочитает ему дельца, умеющего по-быстрому опубликоваться в околомусорных журналах и показывающего тем самым легко измеряемый количественный результат.

История уже показала, что университет — это сложная система, поэтому описать ее набором легко измеримых индикаторов не получается. Закон Гудхарта постулирует сам факт появления искажений при попытке навязать рейтинговые оценки, а конкретные механизмы появления этих искажений уникальны для каждого оцениваемого субъекта. И там может встречаться как сознательное манипулирование, так и непреднамеренная ошибка.

Сегодня мы видим, что многие российские университеты переживают неприятные трансформации, причем, в основном из-за применения тех приемов, которые 6-7 лет назад были призваны обеспечить их взлет. Но не случилось, ибо очередной раз оказалось, что «благими намерениями выстлана дорога в ад», а в нашем случае стремление к высоким позициям в рейтингах превратилось в настоящее проклятье для высшего образования. Кто-то будет утешать себя тем, что не мы это придумали и это во всем мире так, но утешение это слабое. К тому же, отечественные вузы едва ли не усерднее всех в мире принялись ковыряться в рейтингах, как правило, не особо задумываясь об упомянутых выше эффектах. Мы опять всему миру показали, что страна наша, похоже, обладает неисчерпаемым резервом начальников, малопригодных для решения серьезных стратегических задач. Эти начальники явно погорячились и вступили в бессмысленное состязание с ведущими университетами мира, не обеспечив сравнимые с конкурентами стартовые условия. А по факту еще и оказалось, что когда менталитет настроен на гонку, времени на грамотное планирование и на качественное исполнение работы не остается.

Конечно, все наладится. Либо закончатся деньги на гонку за рейтингами, либо провал этой идеи станет очевидным уже на полные сто процентов. И университеты вернутся к разработке и реализации своих естественных стратегий. Но отставание от лидеров, которое так хотели сократить гонкой за рейтингами, только увеличится, что при нынешней открытости экономики и мобильности молодежи создаст риски превращения большинства отечественных университетов в не самые лучшие зоны для социализации людей.