05.09.2017

По этапам. Как идет оценка институтов РАН

Нынешнее лето оказалось судьбоносным не только для Академии наук, которая активно занималась подготовкой к выборам будущего руководства, но и для ранее подведомственных ей институтов. По инициативе ФАНО России началась оценка их результативности, которой ученых давно пугали. По ее итогам НИИ разделят на три категории, и к аутсайдерам примут серьезные меры. На подготовительной стадии была создана ведомственная комиссия по оценке, сформированы 26 референтных групп по направлениям исследований и в рамках каждой из них - свой экспертный совет, подобраны эксперты, утверждены необходимые регламенты и методики. На следующем этапе институты сравнили по наукометрическим показателям, этот этап уже завершен. Теперь в дело вступили эксперты. Процесс должен завершиться к началу зимы.

Как проходит оценка? Что уже сделано? Каковы предварительные результаты? На вопросы “Поиска” ответила начальник Управления академического взаимодействия и обеспечения деятельности НКС ФАНО России, секретарь ведомственной Комиссии по оценке результативности деятельности научных организаций Евгения Степанова.

- Евгения Владиславовна, почему впервые проводимая межведомственная оценка результативности институтов названа внеочередной?

- В соответствии с постановлением Правительства РФ от 8 апреля 2009 года №312, оценка должна осуществляться раз в пять лет, то есть в нашем случае в 2018-2019 годах. Но федеральный орган исполнительной власти имеет право инициировать внеочередную оценку, что агентство и сделало, попросив институты представить итоги работы за три года - с 2013-го по 2015-й.

- Сколько НИИ проходят оценку?

- Сначала в списке была 541 организация, но к настоящему времени перечень сократился до 513. Дело в том, что от оценки освобождены институты, которые завершили процесс реструктуризации.

- Значит, те, кто начал реорганизацию, но пока не влился в новую объединенную структуру, остаются в игре?

- Да, оценку не проходят структуры, которые перестали быть отдельными юридическими лицами, и организации, на базе которых созданы новые центры.

- По правилам в экспертных советах референтных групп должно быть более половины ученых “со стороны”, не работающих в академических структурах. Удалось ли соблюсти эту пропорцию?

- Правила соблюдены. Для обеспечения объективности в экспертные советы были включены представители вузов и отраслевых научных институтов. Мы очень благодарны коллегам, которые согласились принять участие в этой нелегкой работе. Отмечу также, что ведомственная комиссия по оценке приняла решение: руководители экспертных советов референтных групп (ЭС РГ) не должны работать в подведомственных ФАНО структурах, а членами советов из академических организаций не могут быть люди, занимающие руководящие должности, - директора, заместители директоров, ученые секретари.

- Сколько экспертов от ЭС РГ оценивает каждый институт? Как организована их работа?

- Для каждой организации назначается по два эксперта. Хотя бы один из них должен быть из организации, не подведомственной ФАНО. Эксперт отвечает примерно на 20 вопросов, характеризующих деятельность организации, а также готовит заключение, в котором указывает сильные и слабые стороны института, включая рекомендации по формированию программы его развития.

В ФАНО создана информационно-аналитическая система для сопровождения всего цикла работ по оценке. Организации вносят в нее необходимые сведения, которыми пользуются эксперты, готовя свои заключения. Члены экспертных советов и ведомственной комиссии, кроме того, имеют доступ к результатам наукометрической и экспертной оценки.

- Как известно, главный итог оценки - распределение НИИ по трем категориям: лидеры, стабильно работающие и не показывающие значимых результатов. Кто дает заключение об отнесении к той или иной категории?

- Категория организации определяется ведомственной комиссией на основе рекомендаций экспертных советов, результатов наукометрического и экспертного анализа, заключения Российской академии наук. При этом основная роль в оценке принадлежит ЭС РГ, которые дают рекомендации по предварительному отнесению организаций к той или иной категории.

Хочу подчеркнуть, что на основании экспертного анализа присваиваемая организации по формальным основаниям категория результативности может быть изменена - повышена или понижена, но не более чем на одну позицию.

- В референтные группы входят только академические организации?

- Перечень референтных групп сформирован и утвержден Межведомственной комиссией (МВК) по оценке результативности деятельности научных организаций, созданной Минобрнауки России. В него входят все научные организации страны. Но на данном этапе - ведомственной оценки - внутри референтных групп сравниваются только НИИ, подведомственные ФАНО. Информация о предварительном распределении организаций по категориям будет направлена в МВК. На основании обобщения результатов в масштабах страны - с учетом результативности не только академических, но и других научно-исследовательских и отраслевых организаций - МВК сформирует свои рекомендации. Окончательное решение по отнесению подведомственных институтов к одной из трех категорий примет ФАНО на основании итогового заключения ведомственной комиссии.

- Как рассчитывается средний показатель результативности по референтной группе? На сколько должны отличаться от него значения для разных категорий?

- По каждому из ключевых показателей (публикации, патенты, разработки, финансовая результативность) вычисляется среднее арифметическое с учетом данных всех входящих в референтную группу институтов. Таким образом, для каждого научного направления мы получаем набор пороговых значений. Именно с ними сравниваются показатели каждого конкретного института.

Показатели результативности для отнесения научной организации к первой категории должны не менее чем на 25% процентов превышать средние в соответствующей референтной группе. Для отнесения ко второй категории они могут быть не более чем на 25% процентов ниже средних. Если этот разрыв больше - организация попадает в третью группу.

- Для оценки института используется 5-10 основных показателей и несколько дополнительных. Каков их “вес”?

- Это зависит от профиля деятельности организации. Сначала НИИ самостоятельно определяют, к какому из трех профилей они относятся - “Генерация знаний”, “Разработка технологий” или “Научно-технические услуги”. Экспертные советы смотрят, насколько корректно выбран профиль, и могут дать рекомендации по его корректировке. При определении наукометрической категории в каждом профиле используются основной показатель и один из дополнительных. Для отнесения к первой категории основной и дополнительный показатели должны быть выше соответствующих пороговых значений. Если основной показатель ниже “порога”, организация относится к третьей категории. Остальные попадают во вторую категорию.

Например, для профиля “Генерация знаний” определяющим является число публикаций, индексируемых в международных системах научного цитирования, в расчете на 100 исследователей. Дополнительные показатели - количество созданных результатов интеллектуальной деятельности (РИД), имеющих государственную регистрацию и (или) правовую охрану, плюс количество выпущенной конструкторской и технологической документации, в расчете на 100 исследователей или объем доходов от конкурсного финансирования, отнесенный к общей численности выполнявших исследования и разработки сотрудников.

Для профиля “Разработка технологий” главный показатель - количество РИД плюс конструкторская и технологическая документация, а дополнительные - число опубликованных произведений плюс объем доходов от использования РИД и совокупный доход малых инновационных предприятий, отнесенный к общей численности исследователей.

Для организаций, оказывающих научно-технические услуги, главный критерий - отношение внебюджетных поступлений к бюджетному финансированию, а дополнительные - публикации и РИД.

- Если для определения категории применяется только один основной показатель, как используются другие?

- Остальные показатели учитываются всеми, кто участвует в подготовке экспертных заключений.

- В какой стадии сегодня находится процесс оценки?

- Все проходящие оценку организации предоставили необходимые сведения. Проведена огромная работа по их проверке, корректировке и приведению в соответствие с цифрами, предоставляемыми в Росстат, а также с данными российских и международных систем научного цитирования. В настоящее время с этими сведениями работают эксперты ведомственной комиссии по оценке и Российской академии наук.

- Чем регламентируется участие РАН в оценке? На каком этапе она подключается?

- О необходимости учета экспертного мнения РАН говорится в приказе Минобр-науки России от 5 марта 2014 года №161, который утвердил типовое положение о комиссии по оценке результативности. Аналогичная норма внесена в Методику оценки результативности, утвержденную приказом ФАНО от 26 июня 2015 года №22н.

По предложению ведомственной комиссии Академия наук участвует в двух этапах оценки. Сначала отделения РАН готовят экспертные заключения о результатах деятельности организаций на основе полученных от них сведений. Потом в РАН будет направлено утвержденное ведомственной комиссией предварительное распределение по категориям, чтобы отделения в случае необходимости сформулировали свои замечания к этому решению.

- Чье мнение будет играть решающую роль - экспертов ведомственной комиссии или отделений РАН?

- Я бы не стала противопоставлять этих участников, ведь у них разные функции. РАН оценивает качество проводимых исследований, а ведомственная комиссия акцентирует внимание на результативности работы и потенциале научных организаций - инфраструктурном, кадровом, внедренческом.

- И все же кто в случае разногласий будет принимать окончательное решение?

- Ведомственная комиссия на основе предложений экспертных советов референтных групп.

- По рукам уже ходят списки институтов, которые попадают в третью группу по формальным показателям. Можете назвать общую цифру?

- Результаты наукометрической оценки - это только вспомогательный материал для экспертов. Поэтому имеющиеся сегодня данные - сугубо предварительные. Согласно им, примерно 20% организаций по наукометрическим показателям находятся ниже пороговых значений в своих референтных группах.

- Когда институты будут ознакомлены с результатами предварительной оценки? Смогут ли они опротестовать принятые в отношении них решения?

- Предварительные результаты, утвержденные ведомственной комиссией, будут направлены в научные организации. Институты, попавшие во вторую категорию, имеют право обратиться в ФАНО с заявлением о пересмотре решения и просить проведения детальной экспертной оценки всей организации и (или) ее структурных подразделений. К такому заявлению должны быть приложены необходимые сведения. Таким образом, для организаций второй категории детальная экспертная оценка проводится по их запросу. А вот институты, предварительно отнесенные к третьей категории, должны в обязательном порядке предоставить ведомственной комиссии дополнительные сведения о своих структурных подразделениях.

В любом случае все спорные вопросы будут открыто обсуждаться, все мнения приниматься во внимание.

Подготовила Надежда Волчкова

Источники:

ПО ЭТАПАМ. КАК ИДЕТ ОЦЕНКА ИНСТИТУТОВ РАН. – Газета Поиск, № 35(2017) (poisknews.ru), Москва, 01 сентября 2017.

По этапам. Как идет оценка институтов РАН – Российская академия наук (ras.ru), Москва, 04 сентября 2017.

Материал в формате pdf