22:23 Вчені показали ненадійність системи експертної оцінки наукових робіт | |
 Вчені показали, що процес експертної оцінки наукових робіт - основний інструмент їх "пропуску" в журнали - є вкрай ненадійним в силу людського фактора. Свої напрацювання дослідники виклали в архів електронних препринтів Корнельського університету. Коротко робота описана на сайті Physics World.У сучасній науковій практиці критерієм для публікації статті у науковому журналі є її оцінка кількома експертами у відповідній галузі - вони читають надіслані до редакції роботи і виносять рішення, опублікувати їх, відкинути або відправити на доопрацювання. Ця система не вважається ідеальною (наприклад, є думка, що їй не вистачає відкритості), однак більшість вчених вважають, що вона є досить об'єктивною і в цілому працює задовільно. Автори нової роботи вирішили перевірити, наскільки система експертної оцінки стійка до такого фактору як недобросовісні експерти. Вчені розробили модель, в яку включили п'ять типів експертів: правильні (відхиляють погані роботи та приймають гарні), альтруїсти і мізантропи (відповідно приймають або відхиляють всі роботи), раціоналісти (відхиляють роботи, які можуть відвести увагу від їх власних досліджень) і випадкові ( приймають рішення випадковим чином через брак кваліфікації чи часу). Дослідники розглядали схему, коли кожна нова робота направляється на розгляд двом експертам, випадково вибраних із загального пулу (всередині експертного співтовариства всі типи експертів представлені згідно гауссовского, або нормальному, розподілу). Робота вважалася опублікованій, якщо обидва експерта давали їй позитивну оцінку. Якщо один був проти, ймовірність публікації приймалася за 0,5. Після того як вчені "прогнали" модель для 1000 публікацій, вони з'ясували, що навіть невеликий відсоток раціоналістів та / або випадкових експертів здатний істотно вплинути на їх відбираються робіт. Коли співвідношення раціоналістів, правильних і випадкових експертів в пулі становило 1:1:1, статті до публікації приймалися фактично за випадковим принципом. Отримані результати вказують, що адекватність експертної оцінки надзвичайно сильно залежить від складу експертів. Один з видавців фізичного журналу New Journal of Physics, ознайомився з результатами нової роботи, заявив, що автори недооцінюють роль редакції журналу в процесі відбору публікацій. Саме редакція вирішує, кому з експертів направити ту чи іншу роботу, і намагається уникнути ситуацій конфлікту інтересів (хоча іноді - наприклад, у випадку вузької тематики - повністю виключити такий варіант не можна). Це не перша робота, в якій піддаються сумніву існуючі методи оцінки значимості наукових робіт. Раніше вчені неодноразово висловлювали претензії до системи, ранжує роботи по їх цитованості (посилання на статті в статтях інших авторів). Втім, на сьогоднішній день більш зручного і об'єктивного способу оцінки не існує. Джерело: http://www.lenta.ru Джерело: | |
|
| |
| Матеріали по темі: |
