Анализ методик построения рейтингов университетов
17.09.2006 21:56


       В балльной методике оценки учебных заведений журнала "Карьера" учитываются два главных компонента качества образования: потенциал вуза по совокупности укрупненных показателей и результаты подготовки выпускников по данным независимого опроса ИСА и РП по 11 показателям. Итоговый рейтинг определяется как сумма баллов потенциала учебного заведения и результатов обучения выпускников. Весовые коэффициенты локальных показателей определяются экспертами. Методика заслуживает внимания простотой получения исходных данных по потенциалу учебного заведения и способам расчета интегрального показателя. Однако сложение первого рейтинга (потенциал) и второго (выпускники) возможно лишь при проведении единовременного и сопоставимого по годам исследования. Добавление второго рейтинга и отнесение на последние места (с 9 по 13) всех учебных заведений, где он не определялся, представляется ошибочным, так как искажает результаты оценки учебных заведений.

       Расчет рейтинга вузов по методике Госкомвуза РФ базируется на 44 показателях, отражающих практическую деятельность вуза, и достаточно полно показывает потенциал вуза и результаты его деятельности. В методике применяются теория ранговой корреляции и математической статистики для приведения локальных показателей к сопоставимым значениям и расчета интегрального показателя общего рейтинга вуза исходя из потенциала и активности вуза. Расчет интегрального показателя можно упростить, если ввести экспертным методом весовые коэффициенты локальных показателей и рассчитывать интегральный показатель по формуле средней взвешенной величины. Однако в методике отсутствует такая составляющая качества образования, как качество подготовки выпускников, которое определяется по результатам итоговой аттестации студентов и опросам работодателей. Таким образом, она более ориентирована на оценку качества обучения и потенциала вуза.

Критерий сравнения

Подходы к оценке качества образования

Рейтинг университетов, публикуемый журналом "Карьера"

Методика рейтинга университетов Министерства образования и науки РФ

1. Количество используемых показателей, в том числе:
качественные
количественные




20
11
9




44
-
44

2. Количество групповых критериев

2

6

3. Используемая терминология, в том числе:
рейтинг потенциала вуза

+

+

рейтинг активности вуза

-

+

4. Интеграция в международное сообщество

В плане возможности получения международного диплома

Международные связи вуза, в плане авторитета научной школы, подготовки специалистов в России и для России, экономическая оценка

5. Связь с практикой (или с работодателем)

-

-

6. Метод расчета интегрального показателя

Проводится ранжирование исходных показателей учебных заведений с начислением баллов. Суммарный балл характеризует рейтинг учебного заведения с распределением мест от больших значений к меньшим

Исходные показатели по вузам методом математической статистики и ранговой корреляции приводятся к сопоставимым значениям. Рейтинг активности и потенциала вуза вычисляется как линейная свертка частных показателей с учетом специальных коэффициентов, оценивающих значимость показателей. Оценка эффективности рассчитывается как отношение деловой активности к суммарному потенциалу вуза, она вводится мультипликативно в значение рейтинга по интеллектуальному потенциалу, после чего выполняется повторное вычисление рейтинга потенциала вуза и общего рейтинга вуза.

7. Преимущества

1.простота получения исходных данных по потенциалу учебного заведения и способам расчета интегрального показателя.

1. все показатели оцениваются статистическими методами

2. достаточно полно показывает потенциал вуза и результаты его деятельности

8. Недостатки

1. для 55% показателей используются бальные оценки
2. иногда происходит искажение результатов оценки учебных заведений.
3. не оценивается связь с практикой
4. показатели, в большинстве случаев невозможно рассчитать с абсолютной точностью. Данные неминуемо содержат ошибки, а соответственно и подготовленные по ним рейтинги будут не вполне точны

1.отсутствует такая составляющая качества образования, как качество подготовки выпускников
2. не оценивается связь с практикой
3. показатели, в большинстве случаев невозможно рассчитать с абсолютной точностью. Данные неминуемо содержат ошибки, а соответственно и подготовленные по ним рейтинги будут не вполне точны


       Далее мы рассмотрим некоторые аспекты упомянутых выше методик, чтобы наглядно продемонстрировать их недостатки, которые проявляются при расчетах.

       Введение нормировочного коэффициента, определяемого максимальным значением показателя среди всех университетов, привело к тому, что интегрированная оценка университета, определяющая его положение в рейтинге, зависит от значений показателей других университетов. Так, для первого метода (применяемого журналом "Карьера") при подстановке всех введенных ранее коэффициентов, окончательная формула расчета глобального критерия будет выглядеть так:



       Совершенно очевидно, что множители 10 , будучи общими для всех университетов, не повлияют на итоговое значение рейтинга. Исключив их, получим формулу, позволяющую получить тот же самый рейтинг:



       Приходим к выводу, что весовые коэффициенты, присвоенные показателям для вычисления итоговых баллов данного университета, зависят от значений показателей других университетов. Изменение весовых коэффициентов приведет к значительным изменениям баллов, а соответственно к изменениям в рейтинге вплоть до обратных.

       Вторая методика также обладает подобной особенностью. Нормирование на третьем этапе (нормирование местного критерия третьего ранга) также приводит к нестабильности рейтинга.

       Показатели, на основе которых готовятся оба рейтинга, в большинстве случаев невозможно рассчитать с абсолютной точностью. Данные неминуемо содержат ошибки, а соответственно и подготовленные по ним рейтинги будут не вполне точны. Незначительные неточности оценки показателей могут привести к неверному расположению университетов в рейтинге. Более того, если разница интегрированных оценок двух университетов незначительна, то нельзя с уверенностью утверждать, что один университет лучше другого. Эта проблема решается путем перехода от точечных оценок показателей к интервальным оценкам, что позволит учесть неточности измерения показателей. Финальный рейтинг будет представлять собой своего рода распределение университетов по лигам. В одну лигу войдут университеты, по качеству образования незначительно отличающиеся друг от друга, но при этом значительно отличные от университетов, вошедших в другие лиги.

       Все эти рассуждения приводят к необходимости построения другой оценки качества образования, более концептуальной, более социальной по сравнению с существующей, основывающейся на миссии образования. Математические формулы, какими бы громоздкими они ни были, не позволят адекватно отразить затронутые вопросы, сложить из составляющих частей целостное представление о системе. Социальные системы имеют более высокий уровень организации по сравнению с техническими, поэтому для оценки их деятельности необходим и более высокий уровень методов решения задач. Необходимо системно организованное моделирование социальных процессов, учитывающее их комплексный, мобильный, взаимопроникающий характер, или же дополнение существующих методами самооценки.

Источник: отчет УГАТУ "Формирование системы менеджмента качества образовательных услуг университетского округа аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы (2006-2008 годы)"


 
 
© 2006 Реализация и сопровождение: ФГУ ГНИИ ИТТ "Информика"
© Технологическая платформа: iPHPortal

При использовании материалов сайта ссылка на http://quality.edu.ru обязательна.