Наукометрия против инсинуаций

Наукометрия

Читайте также

"... а вы знаете, что, на сегодняшний день, университетская наука почти втрое более эффективна, чем, к сожалению, наука академическая, оторванная. Простой факт: 104 учреждения Национальной академии наук за 2012 год по Хиршу и по Скопусу имеют такой же индекс цитирования, как преподаватели и профессора Киевского университета Шевченко..." 

Д. Табачник

По роду своей деятельности не можем недооценивать важность наукометрии для определения эффективности работы ученого. Несмотря на определенные критические замечания относительно объективности результатов такого подхода, индексы цитирования все же характеризуют уровень эффективности работы ученого, являются популярными среди научного сообщества и вызывают определенное доверие.

Наукометрия становится популярной и в Украине. В последнее время в средствах массовой информации методы наукометрии начали использовать для сравнения эффективности научной работы исследовательских институтов, университетов и даже Национальной академии наук Украины (НАН Украины) и высших учебных заведений (вузов) в целом. Но прежде чем обратиться к такому сравнению, было бы весьма полезно обсудить возможные критерии определения эффективности научной работы этих научных структур.

Оставляя детальное исследование этого вопроса специалистам по наукометрии, имеющим в своем арсенале апробированные статистические методы, попытаемся предложить качественные оценки упомянутой эффективности, использовав при этом информацию из СМИ и Интернета. 

Для анализа воспользуемся данными (по состоянию на август 2013 г.) сайта http://jsi.net.ua/scopus/index.html. Именно здесь содержится систематизированная информация с SCOPUS (международная база данных научных публикаций) как по количеству публикаций и цитирований отдельных ученых, так и по количеству публикаций академических институтов и университетов в целом. Этот сайт дает возможность получить довольно много полезной информации, хотя и имеет некоторые недостатки. 

В частности один из них — неоднозначность трактовки данных, приведенных в первой строке, — "НАН Украины (без уточнения учреждения)" в таблице "Рейтинг учреждений НАН Украины". Ведь они могут восприниматься как итоговые для всех учреждений НАН Украины. 

Вероятно, это и стало основанием для необдуманных выводов относительно одинаковой эффективности работы ученых Киевского национального университета имени Тараса Шевченко (КНУ) и ученых 104 институтов НАН Украины (сравнение по индексу цитирований Хирша), сделанных министром образования и науки Украины Д.Табачником в ходе ток-шоу С.Шустера (канал "Интер", 13 сентября 2013 г.).

Научный подход, в том числе в наукометрии, требует ясных и четко сформулированных определений, особенно относительно статистических данных. Ведущий специалист сайта Денис Соловьяненко объяснил нам, что в упомянутой строке таблицы "Рейтинг учреждений НАН Украины" говорится не о публикациях от всех учреждений НАН Украины, а о количестве публикаций сотрудников НАН Украины, попавших в "неузнанные" публикации. Происходит это из-за того, что названия институтов иногда не совпадают с названиями, по которым зафиксированы присваиваемые SCOPUSом идентификационные коды, или из-за низкого рейтинга института в SCOPUSе (из-за чего его не выделяют отдельной строкой в таблице).

Следовательно, грубую оценку количества публикаций и цитирований, не учитывающую наличия общих работ ученых из разных институтов НАН Украины, можно получить простым добавлением чисел, взятых из соответствующих колонок.

Кажется, что самым простым способом оценки эффективности деятельности институтов и университетов является подсчет количества публикаций и цитирований, приходящихся на одного научного сотрудника этих учреждений. Однако в таком подходе есть несколько "тонких" моментов, усложняющих дело и требующих более детального обсуждения. Для того, чтобы определить количество публикаций и цитирований, приходящихся на одного научного сотрудника, нужно разделить общее количество публикаций на количество сотрудников. Количество публикаций легко взять с упомянутого сайта. А вот как определить число людей, занимающихся наукой?

Учитывая значительное количество занятых по совместительству научных должностей, можно предложить две возможности оценки числа ученых. Первая — подсчитать количество сотрудников высшей квалификации, то есть кандидатов (К) и докторов (Д) наук. Вторая — определять количество ученых в том или ином учреждении или структуре по числу заполненных штатных единиц научных работников. 

Мы используем обе возможности, приняв для конкретных оценок данные за 2011 г. из статистического сборника "Наукова та інноваційна діяльність в Україні" (Киев, ГП "Информационно-издательский центр Госстата Украины", 2012, с. 37, 41, 62).

Для НАН Украины подсчеты довольно просты: по данным сборника количество работающих в системе НАНУ кандидатов и докторов наук — 8652 (К) и 3074 (Д). Что касается количества штатных единиц научных работников, то с учетом того, что совместители, как правило, работают на полставки, получаем 26394 штатные единицы (табл. 2).

Расчеты количества научных работников в университетах Украины тоже требует учета совместителей, занятых научной деятельностью. С одной стороны, в университетах существует научно-исследовательский сектор (НИС), сотрудники которого занимаются только научными исследованиями, их количество — 6516 (данные статсборника). Однако среди них — лишь 1524 кандидата наук и 304 доктора наук. Такое количество научных работников вряд ли могло бы обеспечить все количество статей, опубликованных сотрудниками вузов (табл. 1). 

С другой стороны, очевидно, что научные статьи пишут не только сотрудники научно-исследовательского сектора. Чтобы занять должность доцента или профессора, необходимо иметь научную степень кандидата или доктора наук, а для их получения нужны научные публикации. В дальнейшем, пребывая в роли научных руководителей аспирантов, эти ученые также участвуют в научных исследованиях и становятся соавторами публикаций. Кроме того, согласно Закону о высшем образовании, весь профессорско-преподавательский состав обязан заниматься научными исследованиями. Если руководствоваться этой позицией, тогда всех сотрудников вузов с научными степенями следует считать занимающимися наукой. И тогда это: 69300 (К) и 13900 (Д) — согласно данным выступления первого заместителя министра образования и науки Украины Евгения Сулимы в НАПН Украины (ИА "Наголос", 14.05.2013).

Понятно, что эти цифры могут не соответствовать реальному числу докторов и кандидатов наук, занятых исследованиями, поскольку известно, что из-за чрезмерных преподавательских нагрузок (750 ч. — для доцента и 600 ч. — для профессора) далеко не у всех преподавателей есть возможность активно заниматься наукой. Кроме того, сюда могут входить совместители с других учреждений. Учитывая это, мы решили: к сотрудникам вузов, занимающимся наукой, отнести тех, кто работает в НИС на полную ставку, а также по совместительству (как правило, на полставки). Что касается докторов и кандидатов наук, причастных к научной деятельности в вузах, целесообразно взять количество сотрудников НИС с научной степенью как на полной ставке, так и работающих там по совместительству (табл. 2). 

Очевидно, что результаты расчетов будут отличаться от цифр, приведенных в статье А.Якименко, директора департамента научной деятельности и лицензирования МОН ("Наука прежде всего должна работать на результат", ZN.UA, №26, 2013 г.), взявшего в расчет лишь сотрудников НИС на полной ставке (6516), но не принявшего во внимание возможности публикаций научных статей преподавателями — доцентами и профессорами. 

Следовательно, фиксируем такие цифры для дальнейших расчетов: в вузах работают 24026 (К) и 4986 (Д) (данные за 2011 г., статсборник) и есть 29931 штатная должность для проведения научных исследований (здесь мы, как уже отмечалось выше, учли, что совместители, как правило, работают на полставки).

Простые расчеты дают возможность получить следующие данные:

1) количество научных публикаций и цитирований на одного сотрудника с научной степенью (занимающихся научными исследованиями) составляет в НАН Украины 8,33 и 34,8, а в вузах — 1,95 и 5,4 соответственно;

2) количество научных публикаций и цитирований на одну штатную научную должность (должность для проведения научных исследований) составляет в НАН Украины 3,7 и 15,5, а в вузах — 1,9 и 5,2 соответственно.

Дополнить наши расчеты мог бы учет определенного количества совместных работ сотрудников НАН Украины и вузов. Но из опыта знаем, что их общее количество незначительно. Это, кстати, связано с отсутствием государственной политики поддержки совместных научных исследований ученых из университетов и академических институтов, по крайней мере, в сфере физики и математики, в которой мы работаем.

В завершение прокомментируем некоторые показатели, которые могли бы лучше охарактеризовать качество научных работ.

В настоящее время одним из самых распространенных показателей является индекс Хирша, равный для автора числу N, если у автора есть N публикаций, имеющих не менее N цитирований. Хотя он и характеризует стабильную работу ученого в течение длительного времени, однако не оценивает наличия "прорывных" публикаций автора, процитированных много раз. А ведь именно они больше всего влияют на развитие мировой науки. Поэтому хотелось бы видеть среди показателей эффективности институтов и университетов научные работы с высоким (>100, >200, >500) количеством цитирований. Другим показателем для оценки качества публикаций является среднее количество цитирований на одну публикацию.

По итогам, наши подсчеты дают такие отношения показателей НАН Украины к показателям всех вузов: по количеству публикаций — это в 1,73 раза больше, по количеству цитирований — в 2,6, по индексу Хирша — в 1,68 и по количеству цитирований на одну публикацию — в 1,5 раза больше (табл. 1).

Среди первой сотни авторов, имеющих самый высокий индекс Хирша, 72 ученых работают в институтах НАН Украины, 16 — в вузах, четверо — в Национальной академии медицинских наук Украины (НАМНУ), семеро — и в НАН, и в вузах, один — в вузе и НАМНУ.

Теперь сравним среднее количество публикаций и цитирований на одного ученого с научной степенью. В высших учебных заведениях Украины среднее количество работ на одного ученого в 4,27 раза меньше, а среднее количество цитирований в 6,45 раза ниже аналогичных показателей на одного научного сотрудника НАН Украины (табл. 3).

Как видим, все просчитанные выше показатели демонстрируют большую эффективность научных исследований в институтах НАНУ по сравнению с высшими учебными заведениями Украины. В действительности, это полностью согласовывается как с нашим пониманием фактического соотношения научных сил НАН и вузов Украины, так и с пониманием коллег из вузов и НАН Украины, которых мы ознакомили с результатами, представленными в этой статье. Мы очень уважаем наших коллег из университетов, с которыми у нас давние творческие связи, и убеждены, что при условии уменьшения педнагрузки до принятых в мире стандартов эффективность работы
научных сотрудников НАНУ и университетов существенным образом отличаться не будет.

Заметили ошибку?
Пожалуйста, выделите ее мышкой и нажмите Ctrl+Enter
323 комментария
  • чмо 1 ноября, 20:16 пошла писать губерния.....а толку ? Ответить Цитировать Пожаловаться
  • Дилетант 26 октября, 14:54 Все хорошо и правильно. Есть только одна маленькая проблема. Сложившаяся система оценки вынуждает постоянно хотя бы что-то публиковать. Даже близкое к пустышке.Кто сейчас может себе позволить уйти в "библиотеку" хотя бы лет на 5-7 ?. Если бы такая система существовала во времена Адама Смита, мы бы та и не дождались "Богатства народов"
    А.Шевченко 26 октября, 19:00
    Можно провести такое сравнение: добротные работы в течение жизни определяет индекс Хирша, талантливые работы в течние жизни определяет среднее число цитирований на одну публикацию, а гениальные работы - это штучный товар, который не подчиняется никаким измерением, кроме экспертного, да и то, с течением времени. Свежий пример - бозон Хиггса "предложен" в 1964 году, открытие в июле 2012, нобелевская премия в 2013 году.
    Ответить Цитировать Пожаловаться
  • Харьковчанин 25 октября, 17:27 А вот и первая конкретная информационная ласточка, т.с. - информация к размышлению:" Правительство (РФ) утвердило положение о Федеральном агентстве научных организаций, в ведение которого перейдут институты РАН. Об этом, как сообщает РИА (- новость от 25.10.2013). Интересно, сколько времени понадобится для подобной реорганизации науки в Украине, министру Д.Т. конкретно? А то все: наука, наука, академии... нии...
    А.Шевченко 25 октября, 18:07
    Вы как будто в театре - зритель, сторонний наблюдатель. А Вы знаете уже все это не интересно. Разрушать не строить. Петром первым или Вернадским, такими поступками в историю не войдешь. А наука это то, чем живут десятки тысяч людей, которые болеют и переживают за свое детище. И будут все равно заниматься ею, где бы они не оказались. Для страны и для Вас лучше, чтобы занимались в Украине, хотя, по всей видимости, Вы это еще не понимаете. Но рано или поздно, но все всегда прозревают. Плохо когда поздно, и ничего нельзя изменить и в первую очередь для страны.
    Харьковчанин 26 октября, 00:01
    К сожалению не зритель, а невольный участник. Но надо признать, что нынешние НАНы - это не Академия времен Петра и Ломоносова. Как говорил классик - это не Рио...Так, что Карфаген будет разрушен. Рано или поздно этот театр абсурда закроют. А сейчас закрывают потому, что он даже не может удовлетворить своих хозяев
    А.Шевченко 26 октября, 01:48
    Во времена Ломоносова тоже было не просто. Когда в одной лодке один гребет, а второй только причитает, что утонем, то ничего хорошего не происходит. А если все гребут, то можно выплыть. Так может погребем вместе?
    садівник 31 октября, 13:39
    Ну і ,що з того,толку з тих реорганізацій ні в Росії ,ні в Україні ,толку не буде,поки ми науку будемо заміняти трандінням...А всі апарати ,від телевізора,до самих маленьких гаджетів,ми користуємо іноземні,це говорить,що наша наука.це фіговий листок,який прикриває великі вкрадені з науки ,або не вкладені в науку кошти...
    Ответить Цитировать Пожаловаться
  • А.Шевченко 25 октября, 16:58 Посмотрите пример, как идет взаимодействие молодых и "пенсионеров" в науке, которая развивается. Да, это опять ЦЕРН, ИЯД, Грид и облачные технологии в цифровой науке. А цифровая наука это не только элементарные частицы, но и медицина и экология и многое другое. А главное эффективное сотрудничество между учеными разных стран, в том числе и удаленное. Почитайте отзывы на конференции. И думаю, захочется оказаться в такой атмосфере. Здесь сейчас прорыв в науке. http://wwwinfo.jinr.ru/jinrmag/win/2013/40-41/ne40.htm Ответить Цитировать Пожаловаться
  • Н.Б. 25 октября, 03:46 наукометрия - это, конечно, интересно. Особенно интересно становится, если полюбопытствовать по поводу количества публикаций многих наших действующих академиков. Но в целом - это не главный вопрос. Меня удивляет другое: почему никто не поднимает самый важный вопрос - возраст? Почему этот вопрос только изредка в комментариях возникает, да в зарубежных публикациях? Давайте посмотрим правде в глаза: академия, возглавляемая человеком столь почтенного возраста, выглядит просто островом маразма по своему определению. Думаю, что любой действующий учёный, находящийся в контакте с иностранными коллегами, знает, что в Европе любой, достигающий пенсионного возраста (в среднем по Европе - это около 65 лет) автоматически выходит на пенсию. Понимаете - АВТОМАТИЧЕСКИ! Безо всяких там заявлений о выходе на пенсию. Таким образом, обеспечивается нормальный приток молодёжи и институты не превращаются в дома престарелых маразматиков. Я глубоко уважаю наших академиков за их прошлые заслуги, но если они и вправду пекутся об украинской науке, если они хоть в малейшей степени являются патриотами Украины, они должны немедленно уйти на пенсию. При этом они могут продолжать заниматься наукой, учить молодёжь, но всё это уже без занимания должностей, всё это уже в качестве хобби. И все мы, и будущие поколения были бы действителдьно очень благодарны всем им за это. Но если академики (и не только академики, а вообще всё научные руководители) решили умреть на боевом посту, то я поддерживаю Табачника. Который хоть и дерьмо, но окажется временным попутчиком по очищению украинской науки от давно перегнившего навоза.
    Фёдор 25 октября, 11:57
    Отвечу Вам по опыту нашего академического института технического направления. В институте порядка 220 человек занимающихся научными исследованиями. Возрастной состав 40/60, из которых 40% - это научные сотрудники до 35-37 лет и 60% - это научные сотрудники возрастом свыше 60 лет. Поскольку 60% сотрудников являются уже пенсионерами, то работают они в институте по контракту. Процент контракта от оклада по штатному расписанию составляет не более 30%, а с учётом того, что базовое финансирование института составляет 75% от необходимого доктор наук, профессор получает не более 1800 грн. При указанном раскладе количество работающих часов в день составляет приблизительно 2,2 часа. Но при этом наши уважаемые пенсионеры всё равно каждый день ходят на работу, ведут научные работы, занимаются подготовкой кадров, пишут публикации и монографии. К чему я это веду? К тому, что если отправить эти 60% на пенсию, то института как такового не будет. 90-е годы выкосили среднее возрастное звено. Молодёжь пока не в силах самостоятельно поставить научную задачу и решить её, а пенсионеры не в силах вести хоздоговорную тематику в силу невозможности неделями проводить время в командировках на заводах. Тем самым и соблюдается баланс.
    Фёдор 25 октября, 12:16
    Как вариант сравнения эффективности работы ученых ВУЗа и НАНУ можно использовать удельную сумму хоздоговорных работ с предприятиями и организациями. Хиршем можно мериться, количеством публикаций тоже, но науку ради науки Украина не потянет. Это в первую очередь касается институтов машиностроительного, металлургического, химического, горного профиля.
    Н.Б. 25 октября, 22:02
    вы меня не поняли. Я вовсе не говорил о выбрасывании этих людей из науки. Я говорил о том, что они должны освобождать штатные позиции. И не зря я вам пример Европы привёл. Могу и более конкретно. На моих глазах ушёл на пенсию один из виднейших физиков-термоядерщиков в мире. Он руководил одним из институтов Макса Планка. И когда осталось три года до его выхода на пенсию, встал вопрос о преемнике. Ен был выбран по конкурсу и последние два года они работали вместе, старый директор передавал из рук в руки институт молодому. При этом старый директор потерял право единоличной подписи на всех серьёзных документах - нужно было иметь подпись обоих. И когда настал день, он автоматически ушёл на пенсию. Было, разумеется, прощание, то да сё. Но более важным является другое. Ему предоставили кабинет как рядовому сотруднику и он продолжает работать. Уже будучи на пенсии и не получая за это зарплаты. И тем не менее, он организовал международную группу по разработке новых и проверке старых сценариев для ИТЭРа. И его пример далеко не единственный. Учёные, если они настоящие учёные, не нуждаются в обязательном занимании кресла. Они по прежнему работают и публикуются от имени родного иснтитута, участвуют в семинарах и обучении молодёжи. Но просто за совесть. А то ведь если сидеть на должностях до смерти, то и наука умрёт. Если вы несогласны, что европейская система намного эффективнее нашей, то буду рад услышать от вас конкретный пример украинского института с престарелыми сотрудниками, который более эффективен в науке и более известен, чем, скажем, немецкие институты Макса Планка, где так "нерационально" обходятся с научными кадрами.
    Фёдор 28 октября, 11:53
    Относительно руководящих должностей в структуре НАНУ я с Вами абсолютно согласен! К должности директора, его замов, зав.отделом должен вводиться возрастной ценз, ОБЯЗАТЕЛЬНО!!!! Другое дело рядовой научный сотрудник. Я всё-таки уверен, что каждый труд должен находить своё вознаграждение, в том числе материальное. И наиболее рационально средства оплаты научных пенсионеров изыскивать из вне бюджета (спецфонд). Это могут быть различного рода гранты, программно-целевая тематика, хоздоговорная тематика и пр. Тем самым увеличивается мотивация научного пенсионера, да и влечет всё это за собой здоровую научную конкуренцию.
    zn_reader 25 октября, 18:02
    Наука - забава молодих. Не ходи, молодёжь, в НАНУ - там дедовщина!
    Ответить Цитировать Пожаловаться
  • Секретарю НАНУ 24 октября, 21:59
    Секретареві НАНУ Вчера, 13:49 секретарь Сьогодні, 11:07 Если у Вас есть конструктивные предложения, предлагайте в Президиум, лучше через институты, чтобы у предложения повысился вес.Може спочатку треба розмістити на сайті НАНУ текст проекту Концепції розвитку НАН України на 2014-2023 рр. та поновити припинену в 2012 р. публікацію текстів постанов Президії НАНУ.
    Почему Президиум НАНУ скрывает от научных работников все нормативные документы, касающиеся деятельности академии?
    Секретарь 25 октября, 01:34
    Каждая организация всегда соблюдает некоторую конфиденциальность. С другой стороны каждый сотрудник института НАНУ может зайти по удостоверению в Президиум и получить необходимую информацию у сотрудников аппарата.
    Ответить Цитировать Пожаловаться
  • іксперт 24 октября, 21:04
    секретарь Вчора, 16:16 Когда письмо, тогда предложение сформировано, когда "комент", то оно, как правило, эмоциональное и не всегда полностью продумано.
    В президії немає людей, які здатні відрізнити емоційні коменти від продуманих пропозицій? Цікаво.
    секретар 25 октября, 01:19
    Всі цінують свій час, як і Ви. А кількість інформації, яку обробляє одна штатна особа досить велика.
    Ответить Цитировать Пожаловаться
  • іксперт 24 октября, 21:02
    Влада кожного почує Сьогодні, 20:40 якшо зацікавити владу майном НАНУ, то імітаторів таки можна розігнати. Імітатори - це "на глазок" 90% наукового складу, який за європейськими стандартами науковцями назвати не можна. Після такого скорочення, бюджет на науку можно скоротить на відсотків 50 (тимчасово, звичайно), але зарплату можня підняти до європейського рівня...
    Не смішіть. Покажіть мені, хто у владі здатен а) відрізнити науковців від імітаторів б) назвати імітаторів імітаторами і залишити працювати науковців. Якщо почнуться чистки і звільнення, науковці підуть на вулицю (молодші за кордон), а імітаторам і умільцям догоджати піднімуть зарплату.
    Re: X-перту 24 октября, 22:44
    дійсно, розгін НАНУ - це справа серйозна і відповідальна. Таке можна провернути лише за допогою західних експертів і під оплески світової наукової громади. Це не такі вже і великі кошти щоб залучити в експертні комісії професорів з відомих університетів Європи і Америки, додати кілько Нобелівських лауреатів для зриву погонів з академіків, ну і десяток представників від наукової діаспори шоб було повне порозуміння. І все - десятки академічних установ можна закривати.
    Ответить Цитировать Пожаловаться
  • іксперт 24 октября, 20:23
    снс Сьогодні, 18:12 Для початку гроші треба заробити аби казначейство щось видало. Чекаємо прикладів заробляння академіками-директорами не для себе, а для інститутів.
    Та прикладів скільки завгодно. Інститути виконують роботи (експертизи всякі наприклад), а потім гроші не можуть видрати щоб реактиви оплатити.
    Знающий 24 октября, 21:49
    Могут быть задержки с оплатой, но деньги спецфонда никуда не исчезают.
    Ответить Цитировать Пожаловаться
  • прохожий 24 октября, 20:19
    снс Сегодня, 18:12 Для початку гроші треба заробити аби казначейство щось видало. Чекаємо прикладів заробляння академіками-директорами не для себе, а для інститутів.
    Ельская - первый пример
    прохожему 24 октября, 21:41
    Если у Ельской зарабатывают, то зачем требовать бюджетные деньги на ключевую лабораторию ?
    прохожий 25 октября, 01:27
    Ключевая лаборатория это не только Ельская, а сотрудничество ряда институтов, открытое для присоединения. Фундаментальные исследования "зарабатывают" путем получения грантов. Кроме того, существующее финансирование, не способно охватить тех исследований, которые они могут выполнить.
    Ответить Цитировать Пожаловаться
Реклама
Последние новости
Курс валют
USD 24.88
EUR 28.34