Проблема оценки научной деятельности
23.10.2006 12:17


      Проблема оценки научной деятельности является одной из ключевых в предметной области науковедения и рассматривается в следующих основных аспектах [74,75]:
      - оценка заявок на выполнение научных проектов;
      - оценка качества результатов научной деятельности;
      - оценка результативности научной деятельности;
      - оценка уровня организации научной деятельности (исследовательского труда).
      Известные на настоящее время методики экспертной оценки научных  проектов характеризуются следующим образом [74-81]:
      а) Разработанная в 1996 году Методика ГоскомВУЗа России предназначена для определения значений показателей качества научно-технических проектов по материалам бизнес-планов. Производится экспертная процедура оценки проекта в баллах по каждому из пяти научно-технических показателей: направление разработки; научно-технический уровень разработки; научно-технический потенциал коллектива; правовая охрана; сертификация научно-технической продукции.
      б) В Российской программе экономических исследований используются следующие экспертные признаки отбора проектов: актуальность темы исследований, чёткость постановки задачи; использование современной научной методологии, проработанность и оригинальность метода исследования; наличие необходимых исходных данных; опыт заявителя и его знакомство с научными работами в соответствующей области; значимость проекта для решения насущных проблем российской экономики; реалистичность и эффективность плана работы над проектом; уровень презентации проекта и участие соискателя в работе научного семинара Программы; содействие профессиональному росту исполнителей.
      в) Методика Национального фонда США предусматривает группировку проектов по научно-техническим задачам и направлениям с последующей экспертной оценкой групп проектов по показателям качества и формированием обобщённой оценки. По результатам экспертных процедур формируется ранжированный перечень проектов. Научно-техническими показателями качества являются: наличие правовой охраны решений, использованных в проекте; наличие научно-технических, экономических и других показателей, отличающих продукцию проекта от продукции аналогичного назначения, производимой в стране (за рубежом); наличие перспектив развития предлагаемого проекта; авторитетность коллектива разработчиков.
      г) Методика Российского фонда фундаментальных исследований предполагает проведение экспертизы на основе сравнительного анализа проектов по трем уровням:
      - на первом уровне производится предварительная экспертиза проекта с формализацией результатов на рейтинговой основе;
      - на втором уровне устанавливается общий рейтинг проекта R =r1 + r2 + r3, где:
       r1- учитывает научную ценность проекта (вероятность того, что выполнение проекта может привести к принципиально новым результатам, обеспечить существенное продвижение в рамках данного направления, оказать влияние на прогресс в данной или смежной научной области);
       r2- учитывает реальность выполнения проекта в срок (научный уровень руководителя и потенциал возглавляемого им коллектива, научный задел и публикации по теме, информационное, лабораторное и материальное обеспечение проекта, корректность распределения задач по этапам, результатам и срокам работы).
       r3-  корректирует суммарную оценку.
      - на третьем уровне формируется заключение по проекту.
      В настоящее время известно более 50 методов оценки качества результатов научных исследований и разработок, однако строго определенных и унифицированных методов оценки этих результатов пока не существует.
      Существует следующая общая классификация результатов научной деятельности:
      - новые знания фундаментального характера;
      -результаты ИР, не имеющие материального воплощения (научные результаты, направленные на создание социальных инноваций);
      -результаты ИР, которые могут быть воплощены в конкретные материальные объекты (научные результаты, направленные на создание продуктных и технологических инноваций).
      Министерством науки и образования России при формировании отчёта о научной деятельности ВУЗа за календарный год установлена следующая классификация основных результатов научных исследований:
      -  для фундаментальных научных исследований: теория, метод, гипотеза;
      - для прикладных научных исследований: методика, алгоритм, технология, устройство, установка, прибор, механизм, вещество, материал, продукт, система (управления, регулирования, контроля, проектирования, информационная), программное средство, база данных.
      Одним из основных показателей качества результатов научной деятельности вводится показатель научно-технического уровня (НТУ), как обобщающая характеристика перспективности и прогрессивности научно-технических решений, заложенных в разработку, по сравнению с уже существующими и ранее созданными, которые относятся к одной научной отрасли.
      Определение НТУ производится комплексным методом на основе интегрированной оценки как функции от частных оценок (показателей) и весовых коэффициентов, характеризующих важность каждого показателя. Для разработок, которые могут быть материализованы в конкретные объекты, используют количественно-субъективные комплексные оценки, в основе которых лежат количественно-объективные оценки (см. таблицу 1). Обобщение данной совокупности показателей в единую комплексную количественно-субъективную оценку осуществляется на основе специальных шкал, далее показатель НТУ разработки определяется как отношение обобщающей оценки, полученной анализируемым образцом и прототипом (идеальным образцом). Значимость результатов определяется с использованием специальных шкал перевода и объединения в обобщенную комплексную оценку различных качественных значений единичных показателей и критериев, имеющих различные единицы измерения и степень выраженности. В качестве примера может быть использована шкала-идентификатор качества результатов научной деятельности.
      Кроме того, в дополнение к методике оценки НТУ разработок может быть использована шкала, применяемая Российским фондом фундаментальных исследований (РФФИ) для оценки заявок на гранты.

Таблица 1 - Характеристика показателей качества результатов научной деятельности

Показатели

Характеристики показателя

Результаты, имеющие материальное воплощение

- количество признаков, по которому объект разработки отличается от прототипа ;

- степень усовершенствования технического решения по сравнению с прототипом;

- коэффициент конструкторской преемственности;

- коэффициент повторяемости составных частей;

- коэффициент унификации изделия;

- количество усовершенствованных эксплуатационных показателей объекта техники;

- количество патентов, полученных по данному техническому решению; количество стран, в которых данная разработка запатентована;

- количество объектов (отраслей), в которых может быть использована данная разработка.

Характеристики прототипа (идеального образца):

- образец, составленный на основе экспертных оценок;

- образец значения первоначальных показателей которого равны максимальной величине из всех возможных в используемой шкале;

- образец, составленный на основе прогнозирования тенденций изменения значений индивидуальных показателей.

Результаты, не имеющие материального воплощения

Новизна постановки задачи, методов решения, полученных результатов

- отсутствие прототипа, либо наличие прототипа который отличается от данного по всем основным признакам;

- наличие прототипа, совпадающего по (меньшинству, половине, большинству) признаков.

Вклад в развитие той отрасли науки, к которой относится разработка

- получены принципиально новые знания (открыты новые законы, разработаны теории гипотезы, концепции);

- по-новому или впервые объяснены известные факты, теории, гипотезы;

- подтверждены или поставлены под сомнение известные представления;

- описаны отдельные элементарные факты, выполнены обзоры накопленного опыта.

Вклад в развитие методологию той отрасли науки, к которой относится разработка

- разработан принципиально новый метод (методика);

- усовершенствован существующий метод (методика);

- определен приоритет в использовании определенной совокупности известных ранее методов (методик), которая дает положительный эффект;

- определен приоритет в использовании для данной задачи известных в других областях методов (методик) без их изменения.


      Для повышения уровня объективности оценки НТУ результатов научных исследований, в отечественной практике разработана методика количественно-качественной оценки НТУ результатов с использованием таблиц-матриц и шкал, построенных на основе содержательных нормативных критериев, отражающих степень воздействия определенных показателей на уровень научной значимости результата. Комплекс нормативных критериев-показателей включает: уровень новизны научного результата; степень и широту воздействия результатов НИР на науку (уровень концептуального сдвига); глубину проникновения в сущность объекта или явления (уровень научного познания рассматриваемого объекта - теоретический или эмпирический). На основе комбинации данных показателей составлен измерительный блок, состоящий из трех оценочных логических таблиц-матриц и трех оценочных шкал.
      В работе [74] предложен подход к оценке НТУ результатов научной деятельности на основе разработки номенклатуры показателей качества (научная и практическая значимость, экономическая эффективность) и коэффициентов их весомости. Каждый показатель оценивается по пятибальной шкале и имеет весовой коэффициент, и оценка НТУ производится с использованием балльного метода.
      В работе [81] предложен так называемый метод "Кортер", разработанный на основе комбинации корреляционного и выборочного анализа. В этом случае НТУ определяется как степень отклонения значений параметров исследуемых объектов от средних значений параметров, отражающих современный средний мировой уровень.
      В [83] основными характеристиками научной деятельности  определяются следующие:
      -продуктивность, как количественная характеристика научной  продукции (научной информации), полученной ученым (научным коллективом) за определенный промежуток времени;
      - качество научного продукта, как система параметров (показателей), обладающих определённым уровнем (интенсивностью), важных с точки зрения потребителя этого продукта;
      - эффективность: а) как способность получить определенный эффект: научно-технический, экономический, социальный и т.п.; б) как характеристика уровня организации научного процесса, обеспечивающего достижение поставленной цели с оптимальными затратами ресурсов.
      В [78] результат научной деятельности определяется как степень достижения научного, научно-технического, экономического и социального эффектов, которые характеризуются следующим образом:
      - научный эффект, как прирост информации, предназначенной для  "внутринаучного" потребления.
      - научно-технический эффект, как возможность использования результатов научных исследований в других НИОКР и получения информации, необходимой для создания новой продукции;
      - экономический эффект, как величина прибыли за счёт использования результатов научной деятельности;
      - социальный эффект, как степень влияния результатов научной деятельности на различные сферы деятельности современного общества.
      При таком подходе, факторы научной результативности характеризуются следующим образом (см. таблицу 2).

Таблица 2 - Характеристика факторов научной результативности

Факторы научной результативности

Качество фактора

Характеристика фактора

Новизна результатов

Высокая

Принципиально новые результаты, новая теория, открытие новой закономерности

Средняя

Некоторые общие закономерности, методы, способы, позволяющие создать принципиально новую продукцию

Недостаточная

Положительное решение на основе простых обобщений, анализа связей факторов, распространение известных принципов на новые объекты

Тривиальная

Описание отдельных факторов, распространение ранее полученных результатов, реферативные обзоры.

Глубина научной проработки

Высокая

Выполнение сложных теоретических расчетов, проверка на большом объеме экспериментальных данных.

Средняя

Невысокая сложность расчетов, проверка на небольшом объеме экспериментальных данных.

Недостаточная

Теоретические расчеты просты, эксперимент не проводился.

Степень вероятности успех

Большая

Умеренная

Малая


      Оценка результативности научных исследований производится с помощью системы взвешенных балльных оценок, причём для фундаментальных НИР рассчитывается только коэффициент научной результативности, а для прикладных НИР в том числе и коэффициент научно-технической результативности (см. таблицу 3). Значения коэффициентов значимости каждого фактора и достигнутого уровня по каждому фактору устанавливаются с использованием методов экспертных оценок.
      Среди различных оценочных систем результативности научной деятельности выделяется десять основных методов: метод "целевого управления", метод ранжирования (последовательного сопоставления), метод использования эталонных шкал, метод самооценки, групповая экспертная оценка, выборочный анализ проектов, согласованная оценка и самооценка (совместное обсуждение результатов с самим ученым), оценка коллегами, подготовка реферата в произвольной форме, метод ограниченного выбора оценок, указатель научных ссылок, индекс престижности журналов, из которых наибольшее распространение в практике получили первые восемь методов.


Таблица 3 -Характеристика факторов научно-технической результативности

Авторы научно-технической результативности

Качество фактора

Характеристика фактора

Перспективность использования результатов

Первостепенная

Результаты могут найти применение во многих научных направлениях

Важная

Результаты будут использованы при разработке технических решений

Полезная

Результаты будут использованы при последующих НИР и разработках

Масштаб реализации результатов

Национальная экономика

Время реализации:

до 3 лет;

до 5 лет;

до 10 лет;

свыше 10 лет;

Отрасль

Отдельные фирмы и предприятия

Завершенность результатов

Высокая

Техническое задание на ОКР.

Средняя

Рекомендации, развернутый анализ, предложения

Недостаточная

Обзор, информация


      Одним из примеров методики оценки научно-технического потенциала и направлений исследовательской деятельности научного учреждения может служить методика, разработанная в Институте проблем управления РАН. В качестве показателя качества, согласно которому оценивается деятельность научного коллектива (или научного направления), в методике используется комплексный показатель, определенный на основе многокритериальной оценки.

Содержание

Список использованных источников

 
 
© 2006 Реализация и сопровождение: ФГУ ГНИИ ИТТ "Информика"
© Технологическая платформа: iPHPortal

При использовании материалов сайта ссылка на http://quality.edu.ru обязательна.