1. Як об'єктивно оцінити якість наукових журналів
2. формальні критерії
3. бібліометрична оцінка
4. Експертна оцінка

Стаття підготовлена ​​за матеріалами Робочої групи з оцінки та відбору журналів в Russian Science Citation Index (RSCI) на Web of Science Г.О. Єременко (член Робочої групи, ген.директор Наукової електронної бібліотеки elibrary.ru), А.Я. Назаренко (вчений секретар Робочої групи, радник віце-президента РАН).

Кількість наукових журналів, що видаються в світі, невпинно зростає. Росія в цьому плані теж не є винятком. На малюнку 1 наведено графік зміни кількості видаваних в Росії наукових журналів. Зростання кількості журналів прискорився в 90-ті роки минулого століття і становить зараз близько 300 нових журналів щорічно. Тобто фактично в Росії в середньому щодня з'являється новий науковий періодичне видання.

Це зростання пояснюється в тому числі і об'єктивними причинами, характерними для розвитку світової науки - появою нових напрямків досліджень, дробленням напрямків з виділенням більш спеціалізованих журналів, формуванням нових наукових шкіл, зростанням кількості вчених і т.д. Є, однак, і непрямі причини, що провокують зростання кількості наукових журналів і кількості наукових публікацій в світі. Це повсюдне використання бібліометрична показників для оцінки наукової діяльності, що стимулює вчених частіше публікуватися, причому іноді, на жаль, на шкоду якості самих робіт.

Малюнок 1. Динаміка зміни кількості журналів, що виходять в Російській Федерації (за даними РИНЦ на липень 2016 г.)

В даний час в Росії всього видається більше 6000 журналів, які умовно можна віднести до категорії наукових. Умовно, оскільки тут представлено не тільки чисто наукові видання, а й науково-практичні, науково-виробничі, науково-освітні, суспільно-політичні, науково-популярні видання. Одна з основних відмінних рис наукового журналу - рецензування вступників рукописів. Більшість з журналів, індексованих в РИНЦ, заявляють про наявність такого рецензування. Однак перевірити це дуже непросто. Крім того, рецензування теж буває різне. Часто повноцінне рецензування з залученням декількох зовнішніх експертів підміняється внутрішнім рецензуванням, коли статті для публікації відбирає редакційна колегія або тільки головний редактор. Існують також журнали, які, декларуючи наявність рецензування, насправді його взагалі не здійснюють.

Необхідно відзначити, що РИНЦ не проводить будь-якого вхідного відбору наукових журналів за їх якістю. Завдання РИНЦ - максимально повне охоплення всього публікаційного потоку російських вчених, ніж національний індекс принципово відрізняється від міжнародних баз даних Web of Science і Scopus, куди відбираються тільки найкращі журнали. Це необхідно враховувати і при виборі наукометричних показників, що розраховуються в РИНЦ, для оцінки наукової діяльності. Так, наприклад, кількість публікацій вченого в РИНЦ говорить лише про його активністю публікацій, але нічого не говорить про якість цих робіт. У той же час цілком можливо виділити в РИНЦ ядро ​​кращих журналів, якість яких не викликає сумнівів, і розраховувати для них свої показники. Такий проект по оцінці наукового рівня журналів і формуванню їх високорейтингового сегмента був реалізований в 2015 році і завершився створенням пулу видань, що увійшли в базу даних Web of Science

Ініціаторами проекту з розміщення кращих російських журналів на цій платформі стали компанії Thomson Reuters та Наукова електронна бібліотека eLIBRARY.RU. Перша є правовласником найавторитетнішої міжнародної бази даних наукового цитування Web of Science, друга - розробником і оператором Російського індексу наукового цитування (РИНЦ). Компанії спільно виступили з ідеєю створення нової бази даних Russian Science Citation Index (RSCI), що включає 1000 кращих російських наукових журналів.

Для Thomson Reuters цей проект цікавий в контексті подальшого розвитку лінійки регіональних індексів наукового цитування, розміщених на платформі Web of Science. RSCI стала четвертою регіональної базою даних на цій платформі після китайської (Chinese Science Citation Database), латиноамериканської (SciELO Citation Index) і корейської (KCI Korean Journal Database).

Для Наукової електронної бібліотеки цей проект важливий, оскільки дозволяє виділити в РИНЦ ядро ​​кращих російських журналів і вдосконалити методику розрахунку бібліометрична показників, використовуваних для оцінки вчених і наукових організацій.

Успішна реалізація проекту є також важливим кроком на шляху вирішення в перспективі цілого ряду завдань, в тому числі, підвищення якості російських наукових журналів за рахунок приведення їх до міжнародних стандартів, зростання бібліометрична показників російських журналів в Web of Science і інтегральних показників Росії в цілому, інтеграція російських наукових журналів в світовий інформаційний простір, просування результатів вітчизняних наукових досліджень на міжнародному рівні.

Як об'єктивно оцінити якість наукових журналів

Основне питання, яке виникло на стадії запуску проекту - яким чином відібрати кращі журнали для включення в RSCI. Варіант використання широко застосовується в світі способу оцінки журналів тільки по їх імпакт-фактору відпав відразу. По-перше, цей показник сильно залежить від наукового напрямку. По-друге, цей показник легко піддається штучної «накрутку» за рахунок підвищення самоцитування в журналі або взаємного цитування з «дружніх» журналів.

Варіант використання в якості основи для формування RSCI переліку ВАК також не розглядалося: в цей список журнали включаються на основі суто формальних критеріїв, в результаті чого туди потрапляють навіть журнали, які належать до категорії «сміттєвих» (тобто журнали, швидко публікують за гроші всі вступники статті без будь-якої їх експертної оцінки).

Проекти, в рамках яких проводилися глобальна оцінка якості національних журналів і поділ їх на категорії відповідно до їх науковим рівнем, відомі у світовій практиці. Однак в Росії систематичної експертної оцінки всього корпусу видаються наукових журналів ніколи не проводилося, відомі тільки роботи з оцінки журналів в рамках окремих наукових напрямків. У цьому сенсі проект по формуванню RSCI виявився унікальним - не тільки тим, що став першим у своєму роді, а й різноманіттям методів, які використовувалися для досягнення максимально об'єктивної оцінки якості видань

Існує два основні підходи до оцінки результатів наукової діяльності - використання бібліометрична показників і експертиза. Ці ж підходи використовуються і при оцінці наукових журналів. Кожен з цих підходів має свої плюси і мінуси, тому в ідеальному випадку бажано поєднувати обидва підходи.

Використання бібліометрична показників привабливо тому, що дозволяє швидко провести оцінювання або ранжування великої кількості об'єктів - публікацій, вчених, організацій, журналів і т.д. До переваг цього підходу також зазвичай відносять його об'єктивність. У той же час цей підхід часто виявляється занадто спрощеним для оцінки такого складного напрямки людської діяльності як наукове дослідження.

Експертна оцінка дозволяє провести при необхідності всебічний аналіз і оцінку наукового дослідження, але при цьому займає багато часу. Основним недоліком цього підходу вважається суб'єктивність, яка може чинити серйозний вплив на результати оцінки. Суб'єктивність підходу може проявлятися на різних стадіях процесу оцінювання - починаючи з вибору відповідних експертів та закінчуючи інтерпретацією результатів експертизи.

Незважаючи на принципово різні способи оцінки, між експертизою і бібліометрія багато спільного. За своєю суттю, оцінка за допомогою бібліометрична показників теж є однією з форм експертизи. Взяти, наприклад, такий показник, як кількість публікацій у провідних міжнародних журналах. Наявність статей в таких журналах означає, що ці роботи пройшли рецензування, тобто експертну оцінку на стадії прийому рукописи до публікації. Або інший показник - число цитувань. Наявність посилань на статтю означає, що інші вчені таким способом побічно вже оцінили цю роботу шляхом її цитування, тобто це теж є формою експертизи, але вже за допомогою всього наукового співтовариства.

Відповідно, і проблеми при використанні цих двох способів оцінки багато в чому спільні. Тому їх не потрібно протиставляти один одному, а, навпаки, використовувати спільно. Домогтися адекватних результатів можна, тільки грамотно поєднуючи переваги різних підходів до оцінки результатів наукової діяльності.

Для організації роботи з оцінки та відбору журналів в RSCI була сформована Робоча група, члени якої очолили відповідні тематичні експертні поради. До її складу увійшли:

• Григор'єв А.І. (Голова Робочої групи) - віце-президент РАН, голова науково-видавничої ради РАН, науковий керівник ГНЦ Інститут медико-біологічних проблем РАН (біологічні науки і мультидисциплінарні журнали);
• Баранов А.А. - директор Наукового центру здоров'я дітей РАМН (медичні науки);
• Гохберг Л.М. (Зам. Голови Робочої групи - перший проректор НДУ ВШЕ, директор Інституту статистичних досліджень і економіки знань НДУ ВШЕ (соціальні та гуманітарні науки);
• Єременко Г.О. - генеральний директор Наукової електронної бібліотеки eLIBRARY.RU (консультативну раду з бібліометрія);
• Каблов Е.Н. - Президент Асоціації державних наукових центрів, Генеральний директор ФГУП «Всеросійський інститут авіаційних матеріалів» ГНЦ (інженерні і технічні науки);
• Козлов В.В. - віце-президент РАН, директор Математичного інституту ім. В.А.Стеклова РАН (математичні, комп'ютерні та інформаційні науки);
• Халупа Ю.Ф. - академік-секретар відділення сільськогосподарських наук РАН (сільськогосподарські науки);
• Соболєв Н.В. - головний науковий співробітник Інституту геології і мінералогії ім. В.С. Соболєва СО РАН (науки про Землю);
• Хохлов А.Р. - проректор МДУ ім. М.В.Ломоносова (фізичні і хімічні науки);
• Назаренко А.Я. - НІСО РАН, вчений секретар Робочої групи.

Керівниками тематичних напрямків були сформовані експертні поради, куди були залучені провідні вчені, представники різних наукових організацій (профільних відділень і наукових центрів РАН, федеральних і дослідницьких університетів, державних наукових центрів і ін.). Кожен з членів Робочої групи координував організацію експертизи журналів по одному з основних наукових напрямків. Крім того, було створено постійно діючий консультативний рада при РИНЦ, куди увійшли фахівці з наукометрии. До компетенції цієї ради входила підготовка рекомендацій з методичних питань бібліометрична оцінки наукових журналів.

Остаточне рішення про включення журналу до складу RSCI приймала Робоча група відповідно до висновків тематичних експертних рад, отриманими на підставі аналізу та узагальнення такої інформації:

• результати оцінки журналів експертами за основними тематичними напрямками;
• формальні критерії відбору журналів;
• бібліометричні показники журналу в РИНЦ;
• громадська експертиза журналів провідними російськими вченими.

Нижче більш детально висвітлені основні особливості експертної оцінки рівня наукових журналів тематичними порадами, громадської експертизи журналів провідними російськими вченими, розрахунку та обліку бібліометрична показників і формальних критеріїв.

формальні критерії

Основною метою використання деяких формальних критеріїв для відбору журналів на початковій стадії було виключення з розгляду експертами журналів, які не відповідають основним принципам формування бази даних RSCI. Зокрема, на першому етапі з усіх журналів, що обробляються в РИНЦ, були відібрані тільки журнали, що видаються в Російській Федерації (на даний момент досягнута домовленість про можливість включення в RSCI на наступному етапі гідних журналів, що видаються російською мовою в інших країнах). Чи не розглядалися реферативні, науково-популярні журнали, видання, що не виходять в даний час, а також зовсім нові видання, за якими просто ще недостатньо інформації для їх оцінки.

Чи не розглядалися також перекладні версії російських журналів - для оцінки якості таких журналів використовувалася оригінальна російськомовна версія. У той же час при розрахунку бібліометрична показників для таких журналів враховувалося цитування обох версій журналу. Однак була виключена можливість подвійного обліку посилань з оригінальної статті і її перекладної версії.

бібліометрична оцінка

Основним завданням цього етапу оцінки російських наукових журналів було забезпечити експертів набором основних наукометричних показників для кожного з розглянутих журналів. При цьому була здійснена мінімізація впливу відомих недоліків імпакт-фактора на результати оцінки з тим, щоб дозволити, по-перше, провести, по-можливості, коректне кроссдісціплінарное порівняння рівня журналів, і, по-друге, придушити спроби деяких журналів просунутися вперед за рахунок різних маніпуляцій, які пов'язані прямо пов'язана з ростом якості наукових публікацій.

В якості базового показника для ранжирування журналів був обраний п'ятирічний імпакт-фактор. Основна проблема імпакт-фактора, яка згадується найчастіше - це його сильна залежність від галузі наукових досліджень. Дійсно, практика цитування в різних напрямках науки відрізняється, як з кількісної, так і з якісної точки зору. Зокрема, один з найважливіших показників, який впливає на імпакт-фактор і сильно варіюється від області до області - це середнє число посилань в публікації. Справді, чим більше середнє число посилань у статті, тим більша ймовірність у статей з цього наукового напрямку бути процитованими. Тому, щоб порівнювати між собою журнали в різних областях науки, цей фактор необхідно скоригувати. Найпростіший спосіб - нормировка числа отриманих цитувань на середнє число посилань в статті.

Інший фактор, який може вносити суттєві викривлення при міждисциплінарному порівнянні журналів - це відмінності в структурі списків цитованої літератури. Наприклад, в природничих науках в основному цитуються статті в журналах, а в суспільних і гуманітарних науках набагато більше частка не журнальному публікацій (монографій, збірників статей і т.д.). Тому правильніше нормувати розраховуються показники цитування не на середнє число всіх посилань в статті, а на середнє число посилань на журнальні публікації. Ще більш коректно враховувати при цьому посилання не на всі статті в журналах, а тільки на журнали, індексовані в базі даних (тобто журнали, посилання з яких враховуються при розрахунку показників).

Хронологічний розподіл цитувань журналу також сильно залежить від тематичного спрямування. У інтенсивно розвиваються областях науки стаття починає цитироваться практично відразу після її опублікування, але через кілька років застаріває і вже практично не цитується. У деяких науках, особливо громадських, навпаки - максимум в розподілі цитувань спостерігається через 5-10 років, причому публікації довго зберігають свою актуальність і можуть цитироваться десятиліттями.

Вплив цього фактора проявляється, коли період розрахунку обмежується певним часовим проміжком. Наприклад, при визначенні класичного імпакт-фактора враховуються посилання тільки на статті, опубліковані в журналі протягом останніх двох років. Відповідно, у журналу з економікою, що швидко області науки за два роки будуть врахована значно більша частина посилань, ніж у журналу, основна частина посилань на статті якого буде зроблена пізніше. При цьому не можна стверджувати, що перший журнал краще, ніж другий, оскільки з часом кількість посилань на них може зрівнятися, просто ці посилання не враховуються при розрахунку імпакт-фактора.

Щоб згладіті цею ефект, рекомендується при розрахунках збільшуваті величину цитатного вікна, тобто ПЕРІОДУ, протягом которого вважаються ПОСИЛАННЯ. Тієї ж імпакт-фактор, но розрахованій на п'ятирічний период, Вже Менш чутлівій до відмінностей в хронологічному розподілі между Наукова напрямами. Більш того, збільшення цитатного вікна має ще один позитивний ефект - зростає статистична достовірність і стабільність отриманих результатів, оскільки вони розраховуються на більшому обсязі даних.

Одне з неминучих наслідків повсюдного застосування бібліометрія - це підвищена увага вчених і наукових керівників усіх рівнів до досягнення високих показників. Іноді цьому починають приділяти більше уваги, ніж власне якості самих досліджень. В умовах, коли від певних статистичних показників починає прямо залежати отримання грантів або кар'єрне зростання вченого, фінансове становище наукового журналу або виділення бюджетних коштів наукової організації, досить важко втриматися від спокуси якимось чином оптимізувати процес так, щоб отримувати більш високі статистичні оцінки.

Способів таких існує чимало. Найбільш простий і розповсюджений спосіб-самоцитування або цитування колегами один одного. Цей спосіб часто застосовують і редактори наукових журналів, змушуючи авторів цитувати свої роботи або роботи інших учених, опубліковані в цьому ж журналі. У деяких журналах регулярно публікуються огляди, що містять велику кількість посилань на попередні статті в цьому ж журналі. Тим самим штучно завищується імпакт-фактор журналу.

Необхідно відзначити, що саме по собі самоцитування - це цілком природне для наукових публікацій явище. Зазвичай автор спирається у своїй новій роботі на попередні свої дослідження, і логіка викладу матеріалу вимагає посилання на попередні публікації. Тим більше в науковому журналі, особливо у великому, де публікується безліч авторів, які працюють в цьому ж напрямку, посилання на інші статті, опубліковані в цьому ж журналі - цілком нормальне явище. Однак, коли у наукового журналу рівень самоцитування сильно зашкалює у порівнянні з аналогічними виданнями, це серйозний привід для аналізу на предмет застосування штучних способів накрутки імпакт-фактора. Такі приклади є як в міжнародних журналах, так і в російських.

Який же рівень самоцитування журналу можна вважати прийнятним? Близько 80% журналів, що входять в базу даних Web of Science Core Collection, мають коефіцієнт самоцитування (тобто відношення цитування статей журналу в ньому самому до загального цитування статей цього журналу) не більше 20%. Для російських журналів, індексованих в РИНЦ, коефіцієнт самоцитування не більше 20% мають лише 45% журналів. У той же час необхідно відзначити позитивну тенденцію, що намітилася в останні роки - середній рівень самоцитування в російських журналах поступово падає, за 5 років падіння склало 5% (Рис. 2).

Існують і більш витончені способи накрутки імпакт-фактора, коли, наприклад, редакції дружніх журналів (наприклад, що відносяться до одного видавництву) домовляються про обмін посиланнями. Є також приклади, коли вчені об'єднуються через соціальні мережі і навмисно цитують один одного. Не виключено, що найближчим часом з'являться цілі мережі по торгівлі посиланнями по аналогії з тими, що існують для продажу кліків на інтернет сайти.

Звичайно, все це вже не має ніякого відношення до якості статей, опублікованих в журналі. Тому методика розрахунку бібліометрична показників, яка використовується при ранжируванні журналів, повинна враховувати можливість такого роду штучного впливу і, по можливості, його мінімізувати. В рамках даного проекту для цього була проведена додаткова нормировка імпакт-факторів журналів за індексом Херфіндаля. Така нормировка призводить до помітної деградації показників для журналів з високим рівнем самоцитування, а також журналів, які отримують зовнішні цитування з дуже обмеженого кола інших журналів.

На підставі розрахованого за даною методикою бібліомет- показника був складений загальний рейтинг журналів з усіх наукових напрямках. Значення показників журналів і їх місця в цьому рейтингу, разом з іншими бібліометрична показниками журналів, були надані експертам.

Малюнок 2. Динаміка зміни середнього дворічного коефіцієнта самоцитування (%) російських журналів.

Експертна оцінка

До оцінки журналів за участю експертів пред'являлося важлива вимога - мінімізація впливу суб'єктивних факторів. Так, спотворити картину могли недолік широти наукового кругозору експерта, виставляння їм більш високих оцінок журналам, де він, експерт, публікувався, або є рецензентом / членом редколегії, а також конфлікт експерта з редакцією. Один з ефективних способів добитися об'єктивності - збільшення кількості експертів, які беруть участь у процедурі оцінки. Однак це ускладнює процедуру оцінки і збільшує терміни експертизи. Значно збільшити кількість беруть участь в оцінці експертів вдалося за допомогою громадського голосування через Інтернет.

Для організації роботи з оцінки та відбору журналів в RSCI була сформована Робоча група, члени якої очолили відповідні експертні ради за тематичними напрямками, (такі як, біологічні науки або громадські науки) в яких працюють журнали. В їх завдання входила насамперед оцінка наукового рівня журналів. З огляду на специфіку наукових напрямків, методика відбору журналів в кожному експертній раді могла дещо відрізнятися, однак основні критерії для відбору журналів були загальними:

• науковий рівень статей, опублікованих в журналі за останні 5 років;
• ступінь нерівномірності статей за якістю;
• актуальність статей, опублікованих в журналі;
• популярність (впізнаваність) і авторитетність журналу серед професійної спільноти;
• позиції журналу в Росії і в світі в даній предметній області.

Перед експертами не ставилося завдання відібрати в RSCI рівно 1000 журналів (кількість, передбачену в договорі між Thomson Reuters і НЕП) або якесь інше фіксоване число журналів. Точно також не було задано якихось початкових квот за кількістю журналів за напрямами або пропорцій між ними. У завдання експертних рад входило відібрати журнали, не тільки займають лідируючі позиції в країні в даному науковому напрямку, а й представляють інтерес для міжнародного наукового співтовариства.

При створенні RSCI вперше у вітчизняній практиці була проведена масштабна оцінка рівня журналів із залученням великої кількості діючих вчених (громадська експертиза). Розширена громадська експертиза журналів проводилася шляхом онлайнового анкетування понад 30 тисяч провідних російських вчених. Експертна оцінка проводилася на сайті eLIBRARY.RU протягом 40 днів шляхом заповнення спеціальних експертних анкет.

Для організації широкої громадської експертизи російських наукових журналів була використана база даних російських вчених, сформована в інформаційно-аналітичній системі Science Index, запущеної НЕП в 2011 році. Кожен учасник опитування міг самостійно вибрати не більше трьох наукових напрямків і оцінити журнали по кожному з цих напрямків, плюс, за бажанням - мультидисциплінарні журнали. Кожен журнал в анкеті міг бути віднесений до одного з чотирьох рівнів:

4 * - журнал міжнародного рівня (гідний включення в Web of Science Core Collection);

3 * -журнал національного рівня (безумовно гідний включення в RSCI);

2 * - журнал середнього рівня (потенційний кандидат для включення в RSCI);

1 * - журнал низького рівня (не вартий включення в RSCI).

В результаті громадської експертизи було отримано 12800 експертних анкет. Загальна кількість оцінок, проставлених журналам, склало 240 тис. (Варіант «журнал не знайомий експерту» тут не враховується). Для кожного журналу були розраховані два додаткових показника: загальна кількість отриманих оцінок і середня оцінка. Перший характеризує популярність журналу (але, природно, залежить і від числа вчених, що працюють в даному напрямку), другий відображає науковий рівень і авторитетність журналу в професійному науковому співтоваристві. Разом з бібліометрична даними показники були передані до експертних рад за науковими напрямами.

Аналіз результатів громадської експертизи показав високий рівень вимог вчених до журналів. Так, до журналів світового рівня було віднесено всього 110 журналів з майже 3000 включених в анкети (середня оцінка> 3.5 4). Оцінку> 3 отримали 530 журналів,> 2.75 - 900 журналів,> 2.5 - 1400 журналів.

Остаточне рішення про включення журналу до складу RSCI приймала Робоча група відповідно до висновків тематичних експертних рад, отриманими на підставі аналізу та узагальнення результатів оцінки журналів експертами, формальних критеріїв, бібліометрична показників журналу і громадської експертизи журналів провідними російськими вченими. Робоча група відібрала 652 журналу, гідних для їх включення в Russian Science Citation Index. Це значно менше, ніж передбачалася спочатку тисяча, що, з одного боку, свідчить про досить строгих критеріях відбору, а з іншого, дає можливість поступово розширювати список на наступних етапах відбору.

Цей список не є остаточним і недоторканним. Прийнято рішення про продовження роботи щодо щорічного моніторингу якості журналів і внесення доповнень і змін до списку журналів, розміщених в Russian Science Citation Index на платформі Web of Science. До складу Робочої групи включено академік-секретар відділення історико-філологічних наук РАН В.А.Тішков, який очолив експертну раду з гуманітарних наук, виділений в самостійне тематичне спрямування.

Будь-російський журнал, вибравши правильну редакційну політику і встановивши суворі критерії рецензування та прийняття рукописів до публікації, має реальний шанс бути включеним в RSCI на наступних етапах відбору. І навпаки, якщо у журналу буде спостерігатися явна деградація якості публікованих статей або будуть виявлені порушення редакційно-видавничої етики (в тому числі спроби штучної "накрутки" бібліометрична показників), то такі журнали будуть повторно розглядатися в експертних радах і можуть бути виключені з RSCI.

Після формування списку журналів для RSCI з'явилася можливість подивитися, як розподілені відібрані журнали за науковими напрямами і наскільки цей розподіл відрізняється від тематичного розподілу російських журналів в Web of Science і в РИНЦ.

Вийшло, що якщо в Web of Science в основному індексуються російські журнали в галузі природничих та технічних наук, то в РИНЦ, навпаки, більшою мірою представлені суспільно-гуманітарні та мультидисциплінарні журнали. Що стосується RSCI, то для неї по більшості напрямків виходять проміжні значення, тобто в RSCI розподіл журналів за напрямками більш рівномірний, ніж у Web of Science. Це можна вважати позитивним моментом, оскільки недостатнє охоплення російських суспільно-гуманітарних журналів в Web of Science ускладнює використання цієї бази для коректного відображення діяльності російських вчених і наукових організацій суспільно-гуманітарного профілю.

У той же час, якщо порівнювати RSCI з РИНЦ, то частка відібраних журналів в галузі суспільно-гуманітарних наук суттєво менше, ніж в області наук природничих, технічних, медичних та сільськогосподарських. Це означає, що науковий рівень більшості суспільно-гуманітарних журналів, на думку експертів, поки що не відповідає світовому рівню, або ці журнали представляють недостатній інтерес для міжнародного наукового співтовариства.

На закінчення варто звернути увагу на деякі проблеми, пов'язані з використанням списків наукових журналів для оцінки наукової діяльності. Незважаючи на широке поширення такого підходу, він часто є предметом гострої критики з боку наукового і видавничої спільноти. Причому критиці піддається не тільки і не стільки включення журналів в список, скільки сам принцип використання подібних списків для оцінки наукової діяльності.

Дійсно, як зазвичай на практиці використовують результати відбору наукових журналів? Складають список умовно «хороших» журналів (WOS, Scopus, перелік ВАК). І, наприклад, тільки статті, опубліковані в журналах з цього списку, враховуються при оцінці результативності наукової діяльності вчених і організацій. Так чи інакше, при такому підході оцінка групи журналів спускається на рівень оцінки окремих статей, в них опублікованих. Саме це і є основною помилкою. Дійсно, такий підхід виходить з припущення, що наукові статті близькі за своїм рівнем не тільки в межах одного журналу, а й в межах журналів, віднесених до однієї групи. Аналіз розподілу статей в журналі по їх цитування це припущення спростовує, і показує, що розкид в цитуванні конкретних статей може бути дуже високий. Тому не можна стверджувати, що статті двох різних вчених, будучи опубліковані в одному журналі, мають приблизно однаковий рівень.

Крім того, існує проблема некоректного використання таких списків науковими адміністраторами, які починають стимулювати дослідників публікуватися тільки в журналах з «хорошого» списку. Тобто самі списки журналів з інструменту статистичної оцінки наукової діяльності перетворюються в інструмент адміністративного впливу і тиску на вчених. Це призводить, в свою чергу, до відтоку хороших публікацій з журналів, що не потрапили в список, їх поступової деградації та втрати конкурентоспроможності.

Все це не означає, що ранжування наукових журналів не має практичного застосування. Важливо, щоб в процесі оцінки наукової діяльності, заснованої на ранжируванні журналів, бралися до уваги описані вище методологічні обмеження такого підходу.