суббота, 30 ноября 2013 г.

Пережила ли университетская наука министерский мониторинг эффективности?

Не столь давно были обнародованы результаты так называемого мониторинга эффективности вузов за 2012 год (мониторинг проводился в 2013 году). По результатам мониторинга Минобрнауки будет решать, какие вузы будут в перспективе «оптимизированы». Помимо прочего, в ходе мониторинга оценивалась научная деятельность в вузах. Каковы же результаты науки в Державинском университете? Говоря в целом: университетская наука – это камень на шее, который тянет нас к самому дну формальных показателей,  или поплавок, который позволяет вузу держаться выше уровня неэффективности. И ещё один занимательный вопрос по этой теме: а где результаты лучше – у нас или «у них» (например, в ТГТУ)?


Несколько слов о том, что представляет собой этот мониторинг. Университет, как известно, регулярно проходит лицензирование и аккредитацию для подтверждения своего статуса и права вести образовательную деятельность. Однако министр Ливанов ввёл практику ежегодного экстраординарного (внепланового) статистического обследования вузов и филиалов – эта процедура условно называется «мониторинг эффективности». В результате этого мониторинга университет подтверждает своё право на существование. Если по результатам мониторинга вуз признаётся неэффективным, то это, конечно, ещё пока не ликвидация, но прямая дорога к оптимизации (слияние, поглощение, упразднение, реорганизация и пр. экономичные и жёсткие процедуры).

Как проводился мониторинг для вузов нашего типа в этом году?

Берётся несколько исчисляемых показателей, сгруппированных  в шесть групп: I. показатели образовательной деятельности, II. показатели научно-исследовательской деятельности, III. показатели международной деятельности, IV. показатели финансово-экономической деятельности, V. показатели инфраструктуры, VI. показатели трудоустройства.
Например, в группе показателей научно-исследовательской деятельности восемь показателей. Я их перечислю чуть ниже.

Если упростить все дальнейшие математические хитрости, дальнейшая процедура выглядит так: из каждой группы один показатель признаётся основным.
Например, из группы научных показателей основным считается «Объём НИОКР в расчёте на одного научно-педагогического работника» (просто берут общую сумму в рублях всех наших грантов и делят на количество сотрудников, занятых наукой и преподаванием).

Так, выделив основные показатели из каждой группы, получают шесть основных показателей. По каждому основному показателю есть некоторые пороговые значения. Если четыре и более показателей не дотягивают до пороговых значений – всё… университет признаётся неэффективным… «допивайте чай – собирайте вещи – свободны».

Остальные – неосновные показатели – используются для более детальной аналитики.
Замечу, что по результатам мониторинга вузам выставляется «недифференцированный зачёт»: «зачтено – не зачтено». То есть вузы просто разбиваются на две группы («кандидаты на вылет» и те, которые пока могут пожить спокойно); вузы никак не рейтингуются – нет никаких рейтингов, общих баллов, седьмых и шестьдесят пятых мест и пр.

Вот как выглядят основные показатели Державинского университета:
Основные показатели НИД Державинского университета - 2012 (мониторинг эффективности 2013 года)
Обратите внимание, насколько высок основной показатель научно-исследовательской деятельности. Это результат фантастического прорыва в финансировании по ФЦП и грантам, который совершён, благодаря исследовательским инициативам около 10 наших научных лидеров. Кто эти люди – все знают.

Кстати, по основному научному показателю мы немного обошли ТГТУ, не смотря на то, что технические науки финансируются государством приоритетно (80-90% всех расходов на НИОКР по крупным госпрограммам). В самом деле, тот факт, что «истфак» на науке зарабатывает в два-три раза больше, чем  средний «технический факультет», выглядит просто чудом. Вот основные показатели ТГТУ. (Кстати, поздравляю наших друзей из технического университета с успешным преодолением этого мониторинга))


Основные показатели НИД ТГТУ - 2012 (мониторинг эффективности 2013 года)


Однако вернёмся к Державинскому университету. Основной показатель научной деятельности действительно хорош. А каковы результаты по остальным научным показателям? (Здесь никаких пороговых значений для показателей нет.)

Скажу сразу – результаты ничуть не хуже, чем в других группах показателях, и ничуть не хуже, чем в среднем по России, и не хуже, чем у ТГТУ, но не вызывают головокружения от успехов… Далее размещены неосновные показатели научной деятельности Державинского университета.
НЕ-основные показатели НИД Державинского университета - 2012 (мониторинг эффективности 2013 года) в сравнении со средне-российским и "средне-тамбовским" уровнями

НЕ-основные показатели НИД Державинского университета - 2012 (мониторинг эффективности 2013 года) 
Посмотрите верхнюю диаграмму, почти по всем показателям мы почти в два раза превосходим средние показатели российских государственных вузов. А вторая сверху диаграмма показывает, что мы значительно лучше средне-тамбовского уровня. (Правда, средне-тамбовский уровень тянут вниз другие вузы, кроме ТГУ и ТГТУ.)

Однако, выгладить хорошо на среднем (весьма убогом) уровне (и средне-российском, и средне-тамбовском) – это гарантия выживания, но, конечно, не повод для самообольщения.

Присмотримся к показателям. (Они, кстати, рассчитаны за один – 2012 – год.)

Индикатор II.3 «Количество публикаций в Web of Science/Scopus в расчете на 100 научно-педагогических работников (НПР)» - 2,62. В сущности, это крайне мало. Ведь количество именно таких статей, в соответствии с новой философией Министерства, станет основным критерием при раздаче грантов и при оценке научных достижений. Нет статей в Web of Science и Scopus – нет и грантов. Но это другая история.

Практически все статьи в международных журналах из Web of Science и Scopus публикуют всего несколько наших коллективов (все – физики, химики, математики, биологи).  
В социо-гуманитарной сфере мне известно не более пяти статей в журналах из Web of Science или Scopus. Считается, что гуманитариям опубликоваться в таких журналах труднее… Отчасти это правильно; но правильно и то, что главное препятствие для наших успехов – это инерция нашего же мышления. Мы ориентируется на «ваковские статьи». А Вы видите в числе показателей эффективности «количество статей в журналах из списка ВАК»?

Соответственно, и показатель II.1 «Количество цитирований в Web of Science/Scopus в расчете на 100 НПР» не высок: мало статей – мало цитирований. Конечно, возможны случаи, когда одну статью цитируют тысячи раз… Но ведь бывают случаи, когда статью вообще не цитируют. Так что, чем меньше мы публикуемся, тем меньше нас знают и меньше нас цитируют.
Но оставим международные системы цитирования – посмотрим, как обстоят дела в Российском индексе научного цитирования. (РИНЦ – это, как известно, аналитическая надстройка в e-library, где учитываются статьи из большого числа отечественных научных журналов.)

Показатель II.4 «Количество публикаций в РИНЦ в расчете на 100 НПР» = 143,08. Это много или мало? Можно сказать так: в течение 2012 года средний сотрудник вуза опубликовал почти полторы статьи. (Это был бы прекрасный результат, если бы это были бы статьи из топового американского международного журнала, а иначе…). Вообще эта цифра вызывает удивление: ведь мы же публикуем намного-намного больше. Мы это точно знаем из отчётов. Добро пожаловать в формализованный мир: если статья не учтена какой-либо информационной системой, то такой статьи вроде бы как нет (такая статья не доступна для широкой научной аудитории, не используется при расчете индексов цитирования и прочих наукометрических показателей, не может входить в разнообразные автоматически формируемые библиографические списки и т.п.). Бооольшую часть статей мы публикуем в неиндексируемых в РИНЦ сборниках и журналах – в сущности это усилия, потраченные впустую… (это не моё мнение, это новые «правила игры»).

Показатель II.2 «Количество цитирований в Российском индексе научного цитирования в расчете на 100 НПР» тоже не высок – 212,07. На практике это означает, что наши статьи мало цитируются. По данным РИНЦ университет по «количеству публикаций за 5 предшествовавших лет» занимал 25 (!) место среди всех организаций России, а по «числу цитирований» –  173 место.

Причин здесь много. Во-первых, некоммерческий доступ в РИНЦ не позволяет исключить из списков наших сотрудников людей, которые в реальности утратили «аффиляцию» университета (выпустившиеся аспиранты и пр.). Но в аналогичном положении находятся и многие другие российские вузы…

Во-вторых, мы мало цитируем коллег (да и вообще труды других учёных). Как-то не принято. В средней зарубежной статье в списке цитируемой литературы 40 позиций, в средней российской статье – 10 позиций. Подозреваю, что по университету статистика ещё хуже. Можно ли написать научную статью в солидный журнал, не продемонстрировав очень хорошее знакомство с трудами коллег, с современным состоянием проблемы?

В-третьих, некоторая наши статьи нецитабельны в принципе (или они опубликована в журналах, которые не принято читать и неудобно включать в списки литературы; или не содержат новых идей, фундаментальных обзоров, проверенных репрезентативных фактических данных).

Какая из этих причин  главная? Думаю, вторая… Например: если у Вас есть аспиранты, то сколько Ваших мыслей Вы можете обнаружить в их статьях? Очень много. А сколько раз они цитировали Ваши труды? Скорее всего, вообще не цитировали.

Сравним эти показателями с достижениями учёных ТГТУ.
НЕ-основные показатели НИД ТГТУ - 2012 (мониторинг эффективности 2013 года) 
Количество публикаций в РИНЦ (в расчёте на 100 человек) чуть-чуть больше, но цитируются они, судя по этим данным, ещё меньше. А вот публикаций в журналах из Web of Science или Scopus у наших коллег больше почти в два раза. Хотя это слабый повод для гордости. С таких же успехом мы могли бы сравнить количество людей, побывавших на Луне и на Южном полюсе Земли… На полюсе было больше визитёров: но и то, и другое место нельзя отнести к густонаселённым.

Что касается показателя II.1 в ТГТУ… Я надеюсь, меня простят наши коллеги, но я плохо представляю, как именно он может иметь такое значение при том, что показатель I.3. «Количество статей» в 10 раз меньше. Если только в каждой статье  в Web of Science/Scopus помещается около 10 ссылок на коллег из университета… Плюс «естественные» ссылки из-вне. Если это так – тогда молодцы коллеги! (без всякой иронии).

Говоря в целом, результаты мониторинга показывают, что наука является мощным локомотивом Державинского университета. И при всех наших проблемах, мы выглядим весьма и весьма успешно.

Друзья, если хотите рассмотреть результаты мониторинга более детально, вот ссылка http://miccedu.ru/monitoring/


Дмитрий Жуков

кандидат исторических наук
Центр исследования политических трансформаций centrtsu.ru
Центр фрактального моделирования  ineternum.ru
Научно-информационный отдел
Кафедра международных отношений и политологии
ineternatum@mail.ru


Комментариев нет:

Отправить комментарий