Соединенные Штаты Америки
07.02.2007 11:13


Показатели качества, на которых строится большинство рейтингов, можно сгруппировать в три категории: успехи студентов, достижения преподавательского состава и академические ресурсы вуза. Эти категории вошли в табл. 1 вместе с описанием некоторых методов, традиционно используемых для сбора сведений по этим категориям. На основе собранных таким образом данных рассчитываю гея численные значения показателей. К примеру, информация, полученная по результатам исследования репутации, обычно преобразуется в некую оценку для каждого вуза. Вместе эти оценки образуют показатель "репутация", который можно использовать - отдельно или в сочетании с другими показателями - для ранжирования вузов.

В третьей колонке табл. 1 описаны достоинства и недостатки каждого показателя, которые необходимо учитывать, принимая решение о целесообразности его использования. Например, исследования репутации позволяют получить весьма достоверные рейтинги, однако и здесь возможна путаница, когда репутация вуза в целом не позволяет адекватно оценить репутацию отдельной кафедры (представим себе, что в сильном университете существует отдельная слабая кафедра, которая в таком случае может получить незаслуженно высокую оценку).

Таблица 1. Категории академического качества

Категория Метод/показатель Преимущества
Достижения преподавательского состава Опросы и исследования репутации (например, рейтинг репутации программ или преподавательского состава (факультетов) Позволяет получить очень наглядные результаты, т.е. результаты, практически полностью совпадающие с представлением образованной публики об иерархии колледжей и университетов. Недостаток: репутация вуза в целом может повлиять на оценки отдельной образовательной программы (или образовательных программ)
  Подсчет наград, отличий и призов, полученных преподавателями Весьма полезен для ранжирования самых лучших вузов. Недостаток: очень трудно получить сиюминутную информацию: данные обычно даются по предыдущим или последующим годам
  Число цитирований публикаций ППС Весьма полезен для оценки влиятельности и важности публикаций преподавателей, а не только их объема. Недостаток: индекс ссылок, на основе которого готовятся рейтинги, не оценивает характера упоминаний "плохой", "хороший" или "нейтральный"
Успехи студентов Наиболее выдающиеся выпускники и судьба выпускников по окончании обучения Поскольку лишь немногие колледжи и университеты ведут обширную исследовательскую деятельность, большинство вузов старается подготовить студентов к успешной карьере. Недостаток: информация обычно имеет значительную давность
  Оценки абитуриентов на стандартных вступительных экзаменах Эти данные легко получить. По этому показателю можно оценивать большинство вузов. Недостаток: успехи абитуриентов на экзаменах определяются уровнем подготовки, полученной до поступления. Поэтому по ним нельзя судить о качестве обучения в вузе
Академические ресурсы вуза Сочетание ряда показателей, характеризующих материально-технические и финансовые ресурсы вуза, в т.ч. затраты на обучение одного студента, отношение числа преподавателей к численности студентов, библиотечные ресурсы Эти данные легко получить. По этим показателям можно сравнивать деятельность всех вузов. Недостаток: не содержат информации о том, насколько часто и эффективно студенты пользуются этими ресурсами.

Достоинством исследований репутации является то, что они позволяют выявить самые сильные программы в определенной области знаний. К примеру, исследование репутации будет наилучшим подходом к отбору 10 лучших школ бизнеса. Однако если необходимо оценить все программы в определенной области, то метод исследования репутации неприменим, так как не все школы широко известны и пользуются определенной репутацией. Следовательно, такой подход не позволит сравнить все 352 программы обучения бизнеса, аккредитованные в США, поскольку составители рейтинга могут просто не знать о существовании отдельных программ. Поэтому можно сделать вывод, что каждый показатель имеет свои достоинства и недостатки, которые необходимо учесть в процессе принятия решения о включении этого показателя в перечень используемых для данного рейтинга.

Набор показателей, вошедших в табл. 1, как считает Кларк, не отражает последних перемен в области высшего образования (в частности, возникновение сектора дистанционного обучения и информатизацию высшего образования), которые следует принимать во внимание при оценке качества. Поэтому при выборе показателей целесообразно будет руководствоваться общими соображениями действенности (действительно ли показатель характеризует тот аспект, который он должен характеризовать?), надежности (свободен ли показатель от погрешности?) и возможности сравнения. В целом, если показатель включается в рейтинг, то необходимо каким-то образом доказать его пригодность для достижения запланированных целей (например, на основе существующих данных или на основе данных, собранных разработчиками рейтинга), т.е. его действенность, надежность и возможность сравнения. Не так уж просто однозначно определить пригодность показателей - возможны противоречивые свидетельства и мнения. Например, среди показателей, отраженных в табл. 1, имеется показатель оценок абитуриентов на стандартных вступительных экзаменах. Этот показатель качества вуза в течение ряда лет подвергается суровой критике, поскольку отражает уровень подготовки студентов до поступления в вуз, а никак не качество знаний, которые вуз дает студентам. Однако есть и другое мнение, что это действенный, хотя и косвенный показатель качества вуза, поскольку "высококачественные" вузы привлекают наиболее одаренных и талантливых абитуриентов. В качестве одного из способов оценки этой способности привлекать наиболее способных студентов предлагается показатель оценок абитуриентов на стандартных вступительных экзаменах.

Возможен и другой подход к подбору показателей - с точки зрения ресурсов, процесса и результатов. При прочих равных условиях предпочтение отдается показателям, описывающим процесс (т.е. качество преподавания) и результаты (например, успешность трудовой деятельности выпускников вуза). Показатели в табл. 1 можно отнести к ресурсам, например, оценки абитуриентов на вступительных экзаменах (человеческие ресурсы), библиотечные ресурсы и результатам (цитирование научных работ ППС и награды преподавателей).

В эту таблицу не вошли показатели, описывающие процесс. Это можно объяснить тем, что показатели, описывающие процесс, труднее подобрать, и сбор информации по ним обходится дороже. Однако если есть возможность охарактеризовать процесс, то можно получить очень полезную информацию по таким аспектам, как учебная среда и эффективность преподавания. Например, рейтинги британских университетов "Приложения по высшему образованию к газете "Тайме" включают в себя показатели "качество преподавания" на различных кафедрах дипломной подготовки в университетах Соединенного Королевства и уровень научно-исследовательских работ.

При подборе показателей следует также оценить их объективность или субъективность. Объективными показателями считаются те, которые не зависят от того, кто производит подсчет. Субъективные показатели могут меняться в зависимости от респондента. Например, если двоих людей попросить оценить общее академическое качество данного вуза (в процессе исследования репутации) по одному и тому же набору показателей, то присвоенные ими оценки могут быть весьма различны - в зависимости от субъективного мнения каждого. Вполне понятно, что надежность рейтинга в достаточной степени зависит от использования субъективных показателей.

Есть и другие проблемы, но приведенный выше перечень охватывает наиболее важные. Нужно отметить, что для сбора, хранения, обработки и представления информации следует использовать стандартные процедуры, поскольку ошибка на любом этапе может привести к уменьшению полезности показателя как потенциальной меры академического качества.

Перевод информации в формат рейтинга. После подбора показателей необходимо выбрать метод перевода данных в формат рейтинга. Существуют разные методы, однако мы рассмотрим популярный метод взвешивания и суммирования, который наиболее часто используется в США, имеющий свои недостатки с точки зрения сравнения качества вузов и программ.

Метод взвешивания и суммирования. Метод взвешивания и суммирования подразумевает, что каждому показателю присваивается вес в соответствии с придаваемой ему важностью, а затем все показатели суммируются с учетом весовых коэффициентов для получения итогового балла. В результате получается одно простое для понимания число. Этот метод подвергается критике в связи с тем, что значения весов присваиваются на основе субъективных суждений экспертов, т.е. зависят от того, кто принимает решение. В зависимости от числа показателей и присвоенных им весов один из показателей может превалировать над остальными или несколько менее важных показателей могут перевесить один, но критически важный. Тем не менее этот метод уже много лет успешно применяется для оценки качества продукции.

Как отмечает в своей публикации Кларк, несмотря на популярность этого метода для оценки автомобилей и тостеров, мнения о том, насколько он пригоден для оценки качества образования, разделились. Недостаток консенсуса отчасти объясняется тем, что для сравнения потребительской продукции используются наглядные и легко оцениваемые количественно показатели (например, в случае автомобилей: экономия топлива, условия гарантии, скорость, системы безопасности). Показатели, характеризующие качество образования, менее наглядны (например, такие, как репутация и наиболее выдающиеся выпускники), и их труднее количественно измерить. Следовательно, выбрать и определить количественные значения показателей сравнения академического качества гораздо сложнее, чем показателей сравнения качества автомобилей.

Подобное распределение чревато тем, что незначительные колебания численных значений могут быть истолкованы неверно с точки зрения разницы в уровне качества. Например, в рейтинге американских университетов 2001 г., подготовленном журналом "U.S.News and World Report", разница между 13 и 22 позициями составляла всего 6 баллов по 100-балльной шкале.

Рейтинги американских вузов размещаются на сайте: http://www.usnews.com/usnews/edu, информация платная. В различных рейтингах сравнение проводится по разным показателям, но методика остается неизменной, а именно: выбранным показателям присваиваются веса, с учетом которых проводится суммирование для вычисления итогового балла рейтинга школ или программ. Выбор показателей и значений весов не имеет теоретического обоснования.

Таблица 2 наглядно доказывает важность обоснованного присвоения значений весовых коэффициентов и изучения характера взаимозависимости между показателями. В таблицу вошли данные рейтингов 50 лучших бизнес-школ США, подготовленных U.S. News & World Report в 2001 г. (обычно публикуемые рейтинги ограничиваются 50 лучшими школами). В каждой таблице приведены показатели рейтинга. Числа выражают размер корреляции (взаимосвязи) между показателями. Величина корреляции меняется от 0 до 1, причем 1 -наиболее сильная корреляция, 0 - наиболее слабая. Кроме того, корреляция может быть положительной или отрицательной. Положительная корреляция означает, что при увеличении значения одного показателя значение второго тоже растет. Отрицательная корреляция указывает на то, что при увеличении значения одного показателя второй уменьшается. Для определения величины корреляции между любыми двумя показателями табл. 2 необходимо найти ячейку, находящуюся на пересечении колонки, в которой стоит первый показатель, с рядом, в котором расположен второй показатель.

Например, в табл. 2 дана корреляция между "Начальной зарплатой" и "Средним баллом GMAT", который составляет 0,8. (GMAT - американский тест на математические и аналитические способности для желающих поступить на магистерские программы бизнес-школ, максимальный балл равен 750 баллов). Это означает, что выпускники вузов с более высоким средним баллом GMAT получат более высокую начальную зарплату. Корреляция между "Средним баллом GMAT" и "Процентом принятых" равна - 0,69, т.е. в школы, зачисляющие меньше абитуриентов, обычно идут студенты, получающие на вступительных экзаменах более высокий средний балл (обратите внимание, что во втором случае модуль корреляции меньше, чем в первом, а, следовательно, взаимозависимость выражена менее отчетливо).

Таблица 2. Корреляция показателей рейтинга бизнес-школ за 2001 г.
(На основе сведений по 50 лучшим школам.
Данные приведены с точностью до 2 знаков после запятой)

  Академическая репутация Репутация у работодателей Начальная зарплата % выпускников, нашедших работу к моменту окончания % выпускников, нашедших работу не позднее 3 мес. с момента окончания Средний бал GMAT Средний бал при поступлении Процент зачисленных
Академическая репутация 1 0,90 0,90 0,32 0,24 0,81 0,57 -0,73
Репутация у работодателей   1 0,86 0,32 0,18 0,70 0,50 -0,68
Начальная зарплата     1 0,32 0,43 0,80 0,49 -0,69
% выпускников, нашедших работу к моменту окончания       1 0,49 0,30 0,03 -0,20
% выпускников, нашедших работу не позднее 3 мес. с момента окончания         1 0,24 0,04 -0,5
Средний бал GMAT           1 0,66 -0,69
Средний бал при поступлении             1 -0,58
Процент зачисленных               1

 
 
© 2006 Реализация и сопровождение: ФГУ ГНИИ ИТТ "Информика"
© Технологическая платформа: iPHPortal

При использовании материалов сайта ссылка на http://quality.edu.ru обязательна.