Mokslinių tyrimų vertinimo ateitis: dabartinių diskusijų ir pokyčių sintezė

Dinamiška ir visa apimanti mokslinių tyrimų sistema yra labai svarbi tiek mokslui, tiek visuomenei, kad būtų patobulintos pagrindinės žinios ir supratimas bei sprendžiami vis skubesni pasauliniai iššūkiai. Tačiau mokslinių tyrimų sistema patiria spaudimą dėl didėjančių daugelio veikėjų (įskaitant finansuotojus, vyriausybes ir leidybos pramonę) lūkesčių, įtampos tarp konkurencijos ir bendradarbiavimo dinamikos, besivystančios mokslinės komunikacijos sistemos, agresyvios – kartais – leidybos ir duomenų analizės pramonės. ir riboti ištekliai. Mokslinių tyrimų įmonė turi valdyti šiuos poreikius ir įtampą, išlaikydama mokslinių tyrimų kokybę, palaikydama mokslinių tyrimų vientisumą, būti įtraukia ir įvairiapusiška ir saugodama tiek fundamentinius, tiek taikomuosius tyrimus.

Per pastarąjį dešimtmetį šis spaudimas mokslo sistemai ir poreikis reaguoti buvo lydimas kritiškesnių apmąstymų apie tyrimų vertinimo ir veiklos vertinimo sistemas. Nors tinkamos, kontekstui jautrios metodikos tyrimų kokybei ir poveikiui įvertinti yra svarbios, suaktyvėjo diskusijos apie platų, sudėtingą ir dviprasmišką dabartinių vertinimo kriterijų ir metrikų poveikį tyrimų kokybei ir kultūrai, įrodymų, formuojančių politiką, kokybę, mokslinių tyrimų ir mokslinių tyrimų finansavimo prioritetai, individualios karjeros trajektorijos ir mokslininkų gerovė. Kai kuriose pasaulio vietose vis labiau pripažįstama, kad siauras ir supaprastintas vertinamųjų metrikų ir rodiklių rinkinys nepakankamai atspindi tyrimų kokybę, naudingumą, vientisumą ir įvairovę. Reguliariai naudojama (dažnai žurnalų pagrindu sukurta) metrika neapima svarbių papildomų aukštos kokybės tyrimų aspektų, tokių kaip mentorystė, dalijimasis duomenimis, bendravimas su visuomene, naujos kartos mokslininkų ugdymas ir galimybių identifikavimas bei galimybių joms suteikimas nepakankamai atstovaujamoms grupėms. Manoma, kad netinkamo metrikų ir rodiklių taikymo sritis yra ne tik per siaura, bet ir iškraipo paskatas siekti pasiekimų, nepalankioje padėtyje kai kurioms disciplinoms (įskaitant gyvybiškai svarbius tarpdisciplininius ir tarpdisciplininius tyrimus) ir skatina grobuonišką bei neetišką publikavimo praktiką.

Kampanijos, skirtos pažaboti netinkamą metrikų taikymą, išplėsti kokybės kriterijus ir sistemingiau pertvarkyti mokslinių tyrimų kultūrą pasitelkiant manifestus ir teiginius, principus ir reformas, sukūrė pagrindą pasaulinei diskusijai apie būtinybę reformuoti mokslinių tyrimų vertinimą. Šie balsai dabar ragina nuo manifestų pereiti prie veiksmų. Tai vyksta permainų, susijusių su tyrimų atlikimo ir informavimo būdu, fone. Atvirų mokslinių tyrimų sistemų ir socialinės žiniasklaidos atsiradimas, perėjimas prie į misiją orientuoto ir tarpdisciplininio mokslo, atviros tarpusavio peržiūros augimas ir dirbtinio intelekto (AI) bei mašininio mokymosi transformacinis potencialas reikalauja naujo mąstymo apie tai, kaip vertinami moksliniai tyrimai ir mokslininkai. .

Šiame fone, Global Young Academy (GYA), Tarpakademinė partnerystė (IAP) ir Tarptautinė mokslo taryba (ISC) suvienijo jėgas, kad įvertintų diskusijas ir mokslinių tyrimų vertinimo raidą visame pasaulyje, remdamasi apimtį nustatančia mokslininkų grupe ir keletu regioninių konsultacijų. Kai kuriose pasaulio dalyse aukštojo mokslo institucijos ir mokslinių tyrimų finansuotojai kuria ir bando naujus metodus, o keli yra įtraukti į šį dokumentą. Kitose pasaulio vietose šios diskusijos ir veiksmai kyla arba jų net nėra. Kai mokslinių tyrimų sistemos vystosi skirtingu greičiu, kyla skirtumų ir susiskaidymo rizika. Tokie skirtumai gali pakenkti homogeniškumui, kurio reikia, kad būtų galima bendradarbiauti mokslinių tyrimų srityje ir palengvinti mokslininkų mobilumą įvairiose geografinėse vietovėse, sektoriuose ir disciplinose. Tačiau vienas dydis negali tilpti visiems ir reikia atsižvelgti į kontekstą, kad būtų galima reformuoti vertinimą, pripažįstant vietos iššūkius.

Šis diskusijų dokumentas, kuriame daugiausia dėmesio skiriama viešojo sektoriaus tyrimams ir mokslinių tyrimų bei tyrėjų vertinimui, yra pasaulinė savo perspektyva, apimanti darbotvarkę, kurioje paprastai dominuoja įvykiai Europoje ir Šiaurės Amerikoje: regioninės perspektyvos ir nacionalinės plėtros bei institucinės reformos pavyzdžiai. paryškintas. Pasaulinė ir kolektyvinė GYA, IAP ir ISC narystė yra plati mokslinių tyrimų ekosistemos pjūvis, kurio įvairūs įgaliojimai gali palengvinti tikrus sisteminius pokyčius. Šiuo dokumentu siekiama paskatinti GYA, IAP ir ISC – kaip abipusio mokymosi, eksperimentavimo ir naujovių platformas – dirbti su savo nariais, kitomis mokslo institucijomis ir pagrindinėmis rinkėjų grupėmis visame pasaulyje, inicijuoti ir tęsti pokalbius bei sutelkti daugiau įtraukiųjų. ir bendrų veiksmų.

Rekomendacijos GYA, IAP ir ISC bei jų nariams (žr. 5 skyrių) yra suskirstytos pagal jų, kaip advokatų, pavyzdžių, novatorių, finansuotojų, leidėjų, vertintojų ir bendradarbių, vaidmenis, nurodant orientacinius veiksmų terminus. Iš karto šie veiksmai apima erdvės sukūrimą dalytis pamokomis ir atitinkamų iki šiol įgyvendintų iniciatyvų rezultatais (siekiant sukurti praktikos bendruomenę); vidutinės trukmės laikotarpiu sušaukti įvairių suinteresuotųjų šalių forumus su pagrindinėmis rinkėjų grupėmis, kad būtų perplanuotas ir įgyvendinamas mokslinių tyrimų vertinimas praktiškai, atsižvelgiant į kontekstą ir įtraukiant; ir ilgesniu laikotarpiu – naujų tyrimų, kurie prisideda prie ateities mąstymo, jautrumo sparčiai besikeičiantiems dirbtinio intelekto technologijų, tarpusavio peržiūros metodikų ir reformų bei komunikacijos priemonių vystymuisi.

Geriausios Global Young Academy (GYA), Tarpakademinė partnerystė (IAP) ir Tarptautinė mokslo taryba (ISC) susibūrė 2021 m., kad įvertintų iššūkius, diskusijas ir pokyčius, susijusius su mokslinių tyrimų vertinimu visame pasaulyje, įvairiose mokslinių tyrimų kultūrose ir sistemose, ir ištirtų būdus, kaip jie galėtų dalyvauti ir įtakoti pergalvojant mokslinių tyrimų vertinimą ir vertinimą. XXI amžiuje, atvirai ir įtraukiai.

Buvo suburta tarptautinė taikymo srities nustatymo grupė (A priedas), kuri apžiūrėjo sritį ir patars trims organizacijoms, kaip jos galėtų sustiprinti esamas pastangas reformuoti mokslinių tyrimų vertinimą. Svarbiausia šiame darbe buvo prielaida, kad (1) suderinta, mokslininkų vadovaujama iniciatyva suteiks pasaulinei mokslinių tyrimų bendruomenei stipresnį balsą formuojant tyrimų vertinimo ateitį ir (2) „vertinimas su vertinamuoju“ yra naudingas; taigi, padeda nubrėžti kelią į ilgalaikius, sisteminius vertinimo kultūros ir praktikos pokyčius.

Papildant dokumentų tyrimą, 2021 m. pabaigoje buvo surengtos regioninės konsultacijos su apimties nustatymo grupės ir partnerių nustatytais ekspertais. Diskusijų dokumentas yra pagrindinis šio darbo rezultatas. Jis skirtas kaip tiriamųjų pokalbių su daugeliu suinteresuotųjų šalių, ypač su pačia pasauline mokslinių tyrimų bendruomene, prospektas.

Tyrimų vertinimo praktika padeda siekti kelių tikslų ir ją atlieka kelios suinteresuotosios šalys. Jie naudojami vertinant mokslinių tyrimų pasiūlymus dėl finansavimo sprendimų, publikuojamų mokslinių darbų, tyrėjų įdarbinimo ar paaukštinimo ir mokslinių tyrimų institucijų bei universitetų veiklos rezultatų. Šiame darbe daugiausia dėmesio skiriama tyrėjų ir tyrimų vertinimui, neapima institucinio vertinimo ar reitingavimo, nors visos šios vertinimo sritys yra neatsiejamai susijusios. Dabartinė praktika labai priklauso nuo kiekybinių ir daugiausia žurnalų metrikų, tokių kaip žurnalo poveikio faktorius (JIF), publikacijų skaičius, citatų skaičius, h indeksas ir straipsnio įtakos balas (AIS). Kitos metrikos apima dotacijų pajamų tikslus, įnašo rodiklius (pvz., mokslinių tyrimų finansavimą arba tyrėjų grupės dydį), registruotų patentų skaičių ir pastaruoju metu socialinės žiniasklaidos metriką (anksčiau „altmetriką“), pvz., bendrinimą ar atsisiuntimus socialiniuose tinkluose. Kartu šie rodikliai daro didelę įtaką institucijų, tyrimų grupių ir asmenų reputacijai, individualioms ir bendradarbiavimo tyrimų darbotvarkėms, karjeros trajektorijoms ir išteklių paskirstymui.

Per pastaruosius du dešimtmečius pasaulinės investicijos į mokslinius tyrimus ir plėtrą (MTEP) išaugo tris kartus – iki maždaug 2 trilijonų USD per metus. Vien per pastaruosius metus išlaidos moksliniams tyrimams ir plėtrai augo sparčiausiai nuo devintojo dešimtmečio vidurio – maždaug 1980 % (UNESCO, 19) [2021]. Šios papildomos investicijos į mokslinius tyrimus sukuria atskaitomybės kultūrą, kuri daro spaudimą mokslinių tyrimų institucijoms ir asmenims ir gali sukelti nukrypimų arba netinkamų paskatų. Tai taip pat paskatino didesnius siekius: išlaikyti kokybę ir sumažinti mokslinių tyrimų švaistymą, klaidas ir neefektyvumą; maksimaliai padidinti įtrauktį ir įvairovę; optimizuoti mokslinius tyrimus kaip visuotinę viešąją gėrybę; ir skatinti atviresnę ir aktyvesnę stipendiją. Be reformos kyla grėsmė mokslinių tyrimų kokybei, vientisumui, įvairovei ir naudingumui.

Kiekybinė metrika gali būti svarbi tyrimų vertinimo dalis, pereinant prie atviresnės, atskaitingesnės ir visuomenei skirtos tyrimų sistemos (Karališkoji draugija, 2012 m) [2]. Tačiau jie taip pat yra iš dalies atsakingi už visame pasaulyje egzistuojančios „skelbk arba žūk“ mokslinių tyrimų kultūros kurstymą, o tai daro neigiamą poveikį mokslinių tyrimų rezultatų kokybei, mokslinių tyrimų sistemų vientisumui ir patikimumui bei mokslinių tyrimų bendruomenių įvairovei (pvz., Haustein ir Larivière, 2014 m) [3]. Taip yra todėl, kad institucijos, politikos formuotojai ir mokslinių tyrimų finansuotojai metriką naudoja kaip tyrimų kokybę, tačiau jie yra rezultatų, o ne tyrimų kokybės ar poveikio per se matas. Taigi šie veikėjai daug nuveikia, kad nustatytų socialinį ir kultūrinį kontekstą, kuriame atliekami moksliniai tyrimai, o akademinės bendruomenės atlygio ir paaukštinimo sistemos formuoja mokslininkų pasirinkimą visais jų karjeros etapais.Macleod ir kt., 2014 m) [4].

„Bibliometrinių indeksų naudojimas... kaip tyrėjų veiklos tarpinės metrikos yra patogus vertinimo indeksas, tačiau jis yra labai ydingas. Dauguma skiria nenumaldomą dėmesį individualiems pasiekimams, sumažina mokslinių tyrimų paramą, universitetą domėdamasi didelio poveikio metrika, verčia visus „žymėti langelius“ ir prisitaikyti, o jie atlieka svarbų vaidmenį iškraipydami žurnalų publikacijų rinką. Reikia skubiai reformuoti“.

Mokslo rekordo atidarymas (2021 m.), Tarptautinė mokslo taryba

Kita suinteresuotųjų šalių bendruomenė, turinti didžiulę galią ir įtaką mokslinių tyrimų komunikacijai ir žinių kūrimui, yra leidybos sektorius. Žurnalais pagrįstos metrikos tapo galinga paskata publikuotis komerciniuose žurnaluose ir gali paskatinti elgesį, kuris gali turėti rimtų šalutinių poveikių. Užuot vertinus tyrimų rezultatus pagal jo mokslinius nuopelnus, kaip mokslinės kokybės įrodymas įprastai pripažįstama suvokiama žurnalo, kuriame jis skelbiamas, kokybė, skatinanti labai komercinę leidybos rinką, pagrįstą reputacija, o ne mokslu. Atviros prieigos sąnaudos daugiausia patiriamos dėl autorių apdorojimo mokesčių (APC): jie gali būti pernelyg dideli, ypač kai kuriose pasaulio dalyse, dėl ko neturtingiems mokslininkams atsiranda kliūčių publikuoti mokslinius tyrimus ir gali kilti tarptautinės mokslo bendruomenės lūžis. Rizika vis labiau ir labiau priklausyti nuo komercinių paslaugų teikėjų ir jų naudojimo sąlygų visuose tyrimo proceso etapuose sukuria tvirtą pagrindą ne pelno siekiančioms alternatyvoms. Be to, kadangi bibliometriniai rodikliai buvo pagrindinis paskatų šaltinis universitetuose, jie sumažino švietimo ir kitų formų mokslinio darbo (pvz., mokymo ir politinių patarimų) vertę. Kadangi mokslinių tyrimų vertinimo sistemos yra linkusios teikti pirmenybę tiems, kurie gauna dideles dotacijas ir publikuoja žurnalus su dideliu poveikio faktoriumi, yra įrodymų, kad mokslininkams, kuriems jau pasisekė, yra didesnė tikimybė vėl pasisekti ("Mato efektas", Bol ir kt., 2018 m) [5].

Kai mokslinė publikacija tampa vertinimo, o ne komunikacijos priemone, tai nepalankioje padėtyje atsiduria tiems, kurie pasirenka savo tyrimus perduoti kitais reikšmingais būdais (ISC 2021 m. ataskaita) [6]. Tai apima bendrus Global Young Academy (GYA), InterAcademy Partnership (IAP) ir Tarptautinės mokslo tarybos (ISC) rezultatus (ir, ko gero, pagrindinę valiutą): ataskaitas, darbo dokumentus, bendrus pareiškimus, nuomonių vedamuosius straipsnius, naujienas ir internetinius seminarus. . Kai kurios disciplinos taip pat yra nepalankios: pavyzdžiui, inžinerijos ir informatikos tyrėjai, kur svarbi (dažniausiai greitesnė) komunikacija per konferencijas ir jų pranešimų medžiagas; ir humanitarinių bei socialinių mokslų atstovai, kurie paprastai naudoja monografijas, knygas ir profesinius žurnalus.

Kiti pasirenka publikuoti konkrečius mokslinius tyrimus ar vietiniuose žurnaluose arba negali sau leisti publikuoti savo tyrimų (kad ir kaip būtų aukštos kokybės) atviros prieigos žurnaluose, turinčiuose didelius poveikio faktorius (ir tuo pačiu metu aukštus APC); pastarieji nukenčia mažas pajamas gaunančių šalių, ypač ankstyvosios karjeros tyrėjų (angl. ECR). Tie patys mokslininkai patiria didelį spaudimą užimti akademines pareigas, o jų elgesys labai priklauso nuo kiekybinių kriterijų, kuriuos taiko mokslinių tyrimų finansavimo agentūros ir institucinės samdymo ir skatinimo tarybos. Pagunda mąstyti su rodikliais (Mulleris ir de Rijcke, 2017 m) [7] ir netgi „žaidžiame“ sistemą, yra realybė visiems tyrinėtojams visame pasaulyje (pvz. Ansedė, 2023 m) [8].

Šio žaidimo apraiškos apima mokslininkus (sąmoningai ar netyčia), kurie naudoja grobuoniškus žurnalus ir konferencijas, kad padidintų publikacijų skaičių. (IAP, 2022 m [9]; Elliott ir kt., 2022 [10]), užsiima citavimu ir klastojimu kolegų atsiliepimais, plagiatu, poveikio faktoriaus infliacija ir „salamio pjaustymu“ (didelio tyrimo, apie kurį būtų buvę pranešta viename moksliniame straipsnyje, padalijimas į mažesnius publikuotus straipsnius) (Collyer, 2019 m) [11]. Esant spaudimui, mokslininkams gali kilti pagunda pasinaudoti grobuoniškomis paslaugomis, kurių vienintelis tikslas – įgyti daktaro laipsnį, būti įdarbinti ar paaukštinti arba finansuoti jų mokslinių tyrimų projektus (pvz., Abad-García, 2018 m [12]; Omobowale ir kt., 2014 m) [13]. Metrika grindžiama akademinė bendruomenė ir akademinės leidybos sistemos skatina klastingas paskatas: kur tyrėjas publikuoja yra svarbiau nei tai, ką jis skelbia.

Poveikis tyrimų kokybei ir vientisumui yra labai susirūpinęs. Atšauktų mokslinių straipsnių skaičius pastaraisiais metais labai išaugo dėl netinkamo tyrimo ir leidybos elgesio bei prastų ar apgaulingų duomenų rinkinių. Žurnalams gali prireikti mėnesių ar metų, kad būtų atšaukti nepatikimi tyrimai, o iki to laiko jie jau gali būti daug kartų cituoti ir būti vieši (Ordway, 2021 m) [14].

Metrikomis pagrįsto mokslinių tyrimų vertinimo vyravimas yra nedviprasmiškas, o vertinimo reformos tendencijos visame pasaulyje skiriasi, o tai gali palikti dalį mokslininkų bendruomenės. Analizuodamas pasaulinį tyrimų vertinimo kraštovaizdį (Curry ir kt., 2020 m [15]; pateikta), atrodo, kad daugelis mokslinių tyrimų ir finansavimo institucijų didesnes pajamas gaunančiose šalyse/regionuose pradeda įtraukti platesnį rodiklių rinkinį, pvz., kokybines „poveikio“ priemones, o bibliometrija išlieka vyraujanti „pasaulinių pietų“ institucijose [16]. ] visose disciplinose. Jei nebus imtasi visapusiškesnių veiksmų, gali atsirasti nacionalinių vertinimo sistemų skirtumų, dėl kurių gali atsirasti dar daugiau sisteminių šališkumo ir galimų nesuderinamumo tyrimų, vertinimo, finansavimo ir leidybos sistemose. Tai savo ruožtu gali trukdyti tarptautiniam bendradarbiavimui mokslinių tyrimų srityje ir mokslininkų mobilumui. Kuriant kliūtis šiaurės ir pietų bendradarbiavimui, tai taip pat gali trukdyti kartu stiprinti mokslinių tyrimų ekosistemas globaliuose pietuose – patikimas mokslinių tyrimų įvertinimas sustiprina mokslinių tyrimų ekosistemas ir pasitikėjimą jomis, sumažina protų nutekėjimo tikimybę ir padeda sukurti stiprų žmogiškąjį kapitalą tvariam vystymuisi. plėtra. Nepaisant to, universalios versijos, kas yra geri rezultatai, sukuria elgesio formas, kurios nebūtinai skatina tobulumą, teisingumą, skaidrumą ir įtrauktį. Geriausiu atveju abejotina mokslininkų, kurie klestėjo palankioje, gerai ištekliais aprūpinančioje aplinkoje, kur galimybių gausu, pasiekimus taip pat, kaip ir tų, kurie kovojo su iššūkiais ir įveikė kliūtis priešiškoje ir nepalaikomoje aplinkoje (GYA, 2022 m) [17]. Daugelis mokslininkų jaučia istorinę ir geografinę atskirtį nuo mokslinių tyrimų bendruomenės, kurią daugiausia skatina tai, kaip jie vertinami per visą savo karjerą. Atmetus kai kurias tyrimų formas ir nesugebėjus panaudoti idėjų įvairovės visame pasaulyje, kyla pavojus, kad dabartinė tyrimų vertinimo praktika skatins dominuojančių Vakarų modelių kultūrą.

Mokslininkams iš mažas pajamas gaunančių šalių ir pradiniame savo karjeros etape reikalingas balsas, kad jie galėtų padėti formuoti naujus vertinimo modelius atsižvelgiant į kontekstą, atitinkančius paskirtį ir atsižvelgti į iššūkius, su kuriais jie susiduria kasdien. dienos pagrindu. GYA ir augantis nacionalinių jaunųjų akademijų skaičius suteikia ECR šį balsą ir GYA mokslinės kompetencijos darbo grupė [18] pateikia savo nuomonę apie mokslinių tyrimų vertinimo reformą (žr. tekstą toliau).

Ankstyvosios karjeros tyrinėtojų bendruomenės nuomonė

Ankstyvosios karjeros tyrėjai (ECR) yra ypač susirūpinę dėl mokslinių tyrimų vertinimo praktikos, nes jų karjeros perspektyvos ir mokslinių tyrimų darbotvarkės siekimas labai priklauso nuo to, kaip jie vertinami. Tai informuoja apie finansavimo, samdymo ir skatinimo praktiką tokiais būdais, kurie ne visada suvokiami kaip sąžiningi ir nešališki.

Nors akivaizdu, kad sprendimai dėl finansavimo ir žmogiškųjų išteklių turi įtakos mokslininkų darbo jėgos sudėčiai, ne visada pripažįstama, kad dėl savo poveikio finansavimui tyrimų vertinimas formuoja paskatas institucijas ir mokslininkus siekti tam tikros mokslinių tyrimų trajektorijos, dirbti. tam tikroje srityje arba prisijungti prie kai kurių tinklų, o ne prie kitų. Tokiu būdu tyrimų vertinimas formuoja paties mokslo raidą, o tai ypač pasakytina apie neproporcingą jo poveikį ECR perspektyvoms ir lūkesčiams.

Nors mokslas yra pasaulinė įmonė, kai kurie mokslininkai susiduria su didesnėmis kliūtimis patekti į mokslinių tyrimų bendruomenę ir su ja dalyvauti dėl to, kur jie gimė, dėl savo tapatybės ar socialinės ir ekonominės padėties. Tai yra mokslo pramonės organizavimo, o ne tyrimo vertinimo per se problema, tačiau daugelis ECR mano, kad vertinimo kriterijai neturėtų būti akli šiai mokslininkų patirties realybei ir neturėtų primesti vienodų ir standartizuotų kriterijų skirtingoms situacijoms.

GYA mokslinės kompetencijos darbo grupės atliktas tyrimas (būsimas pranešimas) rodo, kad tyrimų vertinimą gali labiau lemti šalies mokslinių tyrimų politika, o ne kultūrinės ar mokslinės diskusijos. Ataskaitoje daugiausia dėmesio skiriama paaukštinimo į profesūros (ar lygiaverčio) pareigas akademinėje bendruomenėje kriterijais, todėl ataskaitoje matyti, kad nacionalinė politika ir institucijos paprastai turi konkrečius dokumentus, kuriuose nustatomi mokslinių tyrimų vertinimo kriterijai. Užuot apėmę didelį ir įvairų kriterijų rinkinį, pagal kurį būtų galima susidaryti visapusišką tyrėjo vaizdą, šie dokumentai dažniausiai sutelkiami į vieną dimensiją arba prioritetą. Pavyzdžiui, kai kuriuose dokumentuose pagrindinis dėmesys skiriamas tyrėjo paslaugų veiklos (pvz., mokymo ir mentorystės) vertinimui, o kai kuriuose – mokslininko sukauptos produkcijos vertinimui (pavyzdžiui, atsižvelgiant į žurnalų straipsnių skaičių), tačiau retai abu.

Yra dvi pagrindinės šios išvados pasekmės. Pirma, tas tyrimo vertinimas yra hierarchinis ir iš viršaus į apačią. Tai kelia pavojų, nes tiek metrikai, tiek kokybiniai metodai dažnai nepaiso tyrėjų įvairovės: tiek jų išsilavinimo, tiek karjeros kelių, ir – ne mažiau svarbu – metodų ir idėjų įvairovę. Priešingai, GYA atstovaujamos ECR mano, kad būtų svarbu pripažinti mokslinių tyrimų įmonei reikalingų veiklų įvairovę ir sukurti mokslinių tyrimų vertinimo schemas, kurios skatintų įvairovę ir pliuralizmą, o ne įpareigoja atitikties ir homologacijos reikalavimus.

Antra, skirtumai tarp disciplinų yra mažiau reikšmingi nei skirtumai pagal šalių, kuriose tyrėjas dirba, ekonominę padėtį. Atrodo, kad mažesnes pajamas gaunančios šalys remiasi kiekybiniais rodikliais ir apdovanoja „produktyvumą“, o didesnes pajamas gaunančios šalys vis atviresnės kokybiniam poveikio įvertinimui. Jei šie skirtumai toliau didės, tai gali tapti dar viena kliūtimi tarptautiniam mokslininkų mobilumui, o tai ypač svarbu ECR.

Apibendrinant, GYA ataskaitoje pabrėžiama, kad nėra sidabrinės kulkos: mokslinių tyrimų vertinimas turi būti orientuotas į vertinimo tikslus ir galiausiai į institucijos ar šalies mokslinių tyrimų politikos tikslus. Vertinant turėtų būti atsižvelgiama į tyrėjų profilių ir karjeros įvairovę ir turi būti skiriamas skirtingas dėmesys, atsižvelgiant į vertinimo tikslą. Kadangi mokslas yra globalus ir savikritiškas pokalbis, išorinis vertinimas ne visada gali būti reikalingas. Iš tiesų, dažnai diskutuojama apie apgaulingų (žmonių, institucijų, prekybos vietų ar net ištisų šalių) reitingų naudojimą ir tikrąją vertę.

Šiandieniniai pasauliniai iššūkiai, kurių daugelis yra suformuluoti Jungtinių Tautų (JT) tvaraus vystymosi tiksluose (SDV), reikalauja transformuojančių, tarpdisciplininių ir tarpdalykinių mokslinių tyrimų, kurie patys reikalauja naujų mokslinių tyrimų vykdymo ir bendradarbiavimo būdų.ISC, 2021 m) [19]. Inkliuzinių, dalyvaujamųjų, transformuojančių, tarpdisciplininių mokslinių tyrimų būtinybė neatitinka to, kaip moksliniai tyrimai remiami, vertinami ir finansuojami – kad moksliniai tyrimai duotų pažadą visuomenei, jiems reikia atviresnių, įtraukiųjų, kontekstui jautrių vertinimo sistemų (Gluckmanas, 2022 m) [20]. Įterptas akademikų, finansuotojų ir leidėjų elgesys gali apsunkinti pokyčius, todėl investicijos gali būti nukreiptos toli nuo tų sričių, kurioms labiausiai reikia.

Tarpdisciplininių ir tarpdisciplininių mokslinių tyrimų ir dalyvaujamojo arba piliečių mokslo augimas yra svarbūs pokyčiai ir gyvybiškai svarbūs sprendžiant pasaulinius iššūkius. Kadangi moksliniai tyrimai peržengia disciplinines ir institucines ribas ir įtraukia platesnį suinteresuotųjų šalių ratą, įskaitant vartotojų bendruomenę, kuri kartu kuria visuomenei neatidėliotinus mokslinių tyrimų klausimus, tradicinių akademinių tyrimų vertinimo kriterijų nepakanka ir jie netgi gali apriboti tarpdalykinių mokslinių tyrimų plėtrą ir naudojimą.Belcher ir kt., 2021) [21]. Reikia tinkamesnių principų ir kriterijų, kad būtų vadovaujamasi tarpdisciplininio tyrimo praktika ir vertinimu: ankstyvas kokybės vertinimo sistemos pavyzdys yra pagrįstas tinkamumo, patikimumo, teisėtumo ir naudingumo principais.Belcher ir kt., 2016) [22].

Mokslinių tyrimų užsakymo, finansavimo, vykdymo ir informavimo būdai sparčiai kinta, todėl reikia paspartinti mokslinių tyrimų vertinimo reformą. Jie apima:

(1) Perėjimas prie atvirojo mokslo

Atviro mokslo judėjimas reikalauja kartu reformuoti mokslinių tyrimų vertinimo sistemas, kad būtų padidintas atvirumas ir skaidrumas. Daugelis metrikų ir rodiklių, naudojamų tyrimų rezultatams matuoti, patys yra neskaidrūs ir dažnai apskaičiuojami už uždarų komercinių durų. Šis skaidrumo trūkumas kenkia mokslinių tyrimų bendruomenės savarankiškumui – riboja galimybes vertinti, tikrinti, tikrinti ir tobulinti tyrimų rodiklius.Wilsdon ir kt., 2015 m [23]). Atsakingas tyrimų vertinimas tampa pagrindiniu pasaulinio žingsnio link atviro mokslo aspektu, kaip liudija, pavyzdžiui, Jungtinių Tautų švietimo, mokslo ir kultūros organizacijos (UNESCO) rekomendacija dėl atviro mokslo (UNESCO, 2021 m [24]) – kuri apima Atvirojo mokslo priemonių rinkinio, skirto jos nariams, kūrimą, kad padėtų jiems peržiūrėti ir pertvarkyti savo mokslininko karjeros vertinimus ir vertinimo kriterijus [25].

(2) Tarpusavio vertinimo pokyčiai

Atviros tarpusavio peržiūros augimas – nesvarbu, ar publikuojamos tarpusavio peržiūros ataskaitos ir (arba) viešai nustatomi recenzentai – yra svarbi mokslinių tyrimų vertinimo raida.Barroga, 2020 m [26]; Woods ir kt., 2022 [27]). Duomenų infrastruktūros augimas leido leidėjams generuoti skaitmeninių objektų identifikatorius (DOI) tarpusavio peržiūros ataskaitoms, susieti tarpusavio peržiūros ataskaitas su atskirais atvirojo tyrinėtojo ir bendraautorio ID (ORCID) ir skelbti dokumentus kaip išankstinius spaudinius. Per pasaulinę COVID pandemiją išankstinių spaudinių skaičius labai išaugo ir atskleidė iššūkius, kylančius vertinant tyrimus greitojo reagavimo režimu. Nepaisant to, atviros tarpusavio peržiūros praktika – prieš paskelbimą ar po jos – gali padėti sutrikdyti komercinių leidėjų kontrolę, susijusią su mokslinių tyrimų komunikacijos ir žinių kūrimo procesais, taip sumažinant mokslinio žurnalo ir susijusių metrikų, pvz., JIF, galią. Atviri tarpusavio peržiūros veiklos įrašai taip pat gali suteikti infrastruktūrą dokumentuoti (ir laikui bėgant sukurti didesnę vertę) tarpusavio peržiūros veiklai, kuri yra gyvybiškai svarbi profesionali paslauga, dažnai nematoma ir nepakankamai vertinama atliekant akademinius vertinimus.Kaltenbrunner ir kt., 2022 m [28]).

(3) Dirbtinio intelekto ir mašininio mokymosi taikymas

Tikėtina, kad dirbtinio intelekto (DI) ir mašininio mokymosi technologijų pažanga turės didelių pasekmių tyrimų vertinimui, įskaitant jį palaikančius tarpusavio peržiūros procesus (pvz., Holm ir kt., 2022 m [29]; Proctor ir kt., 2020 m [30]). AI jau naudojamas siekiant supaprastinti ir sustiprinti tarpusavio vertinimą (Gamta, 2015 [31]; Gamta, 2022 m [32]), patikrinkite tarpusavio peržiūros kokybę (Severin ir kt., 2022 m [33]), patikrinkite citatų kokybę (Gadas, 2020 m [34]), aptikti plagiatą (Foltýnek ir kt., 2020 m [35]), sugauti tyrėjus, gautus duomenis (Quach, 2022 m [36]) ir rasti kolegų recenzentų, kurių vis labiau trūksta, nes šis darbas nesulaukia tokio įvertinimo, kurio jis nusipelnė tyrėjų vertinime. „Pokalbio AI“, pvz., ChatGPT (pokalbių generavimo iš anksto apmokytas transformatorius), gali planuoti eksperimentus, rašyti ir užbaigti rankraščius, atlikti tarpusavio peržiūrą ir remti redakcinius sprendimus priimti arba atmesti rankraščius (Gamta, 2023 m [37]). AI taip pat gali pagerinti tarpusavio peržiūros efektyvumą, naudodamas algoritmus, kad palengvintų kolegų recenzentų, kaip mokslinių tyrimų rezultatų referentų, naštą (Gamta, 2022 m ). Kinijoje jau bandomas dirbtinio intelekto naudojimas ieškant teisėjų (Gamta, 2019 m [39]).

Visos šios AI programos gali sumažinti šią naštą ir leisti patyrusiems ekspertams sutelkti savo nuomonę į tyrimų kokybę ir sudėtingesnius vertinimus (Thelwall, 2022 m [40]). Tačiau jie taip pat rizikuoja skleisti šališkumą, nes tai yra nuspėjamosios technologijos, sustiprinančios esamus duomenis, kurie gali būti šališki (pavyzdžiui, pagal lytį, tautybę, etninę kilmę ar amžių). ' tyrimas (Chomsky ir kt., 2023 m [41]; ISI, 2022 m [42]).

Tačiau gyvybiškai svarbu, kad visos AI ir mašininio mokymosi formos yra atviros piktnaudžiavimui (Blauth ir kt., 2022 [43]; Bengio, 2019 m [44]). Akademinės ir mokslinių tyrimų bendruomenės turės sukurti tam pasirengimą ir atsparumą, bendradarbiaudamos su vyriausybe, pramone ir pilietinės visuomenės lyderiais, valdančiais šią erdvę.

(4) Socialinės žiniasklaidos augimas

Įprasti kiekybiniai tyrimų poveikio matai neatsižvelgia į didėjantį socialinių tinklų įsitraukimą ir į socialinius tinklus įtrauktų tyrėjų / akademikų (Jordanija, 2022 [45]). Daugelis akademikų naudojasi socialinės žiniasklaidos platformomis, kad įtrauktų bendruomenes, politikos formuotojus ir visuomenę per visą savo tyrimo projekto laikotarpį; teigiamai įsitraukti į savo tyrimus, juos išbandyti ir informuoti bei pateikti idėjų ir indėlių įvairovę, o ne tiesiog paskelbti galutinį rezultatą kaip faktą gavėjų auditorijai. Įprastų tyrimų vertinimo formų šis įsitraukimas nepasižymi, tačiau gali paskatinti platesnes įtakos ir informavimo galimybes. Socialinės žiniasklaidos metrika („altmetrika“) kuriama kaip indėlis į atsakingus rodiklius (Wouters ir kt., 2019 m [4]) ir įtraukti, pavyzdžiui, „Twitter“ ar „Facebook“ paminėjimus ir sekėjų skaičių „ResearchGate“. Viena vertus, šios altmetrikos gali padėti atsiverti, sukurti erdvę ir išplėsti vertinimą (Rafolsas ir Stirlingas, 2021 m [47]), bet, kita vertus, kaip ir kiti rodikliai, taip pat gali būti naudojami neatsakingai ir (arba) gali būti vertinami kaip kiti metrikų lygmenys vertinimo sistemose.

Mokslinių tyrimų vertinimo reformos iššūkiai yra įvairūs. Čia pavaizduoti keli reikšmingiausi.

Bet kuri reforma, apimanti daugiau kokybinių priemonių, turi tuo pačiu užtikrinti fundamentinių ir taikomųjų tyrimų kokybę. Yra anekdotinių įrodymų, kad kai kurie mokslininkai patys gali prieštarauti reformai, galbūt ypač pažengę karjeros tyrinėtojai, kurie klestėjo dabartinėje sistemoje, nes baiminasi, kad tai gali paskatinti vidutiniškus tyrimus arba kad kokybiškesnės vertinimo formos gali teikti pirmenybę taikomiesiems tyrimams, o ne fundamentiniams tyrimams. Mokslinių tyrimų vertinimo kriterijų reforma paprastai grindžiama perėjimu į misiją orientuotus, visuomenei paveikius tyrimus, kurie kreipiasi į visuomenės ir politinę paramą taip, kaip negali būti mažiau apčiuopiami pagrindiniai arba mėlynojo dangaus tyrimai. Kai kurie teigia, kad norint paremti inovacijas reikia niuansingesnio mokslinių tyrimų „vertės“ aiškinimo, nes ateityje reikės nuolat investuoti į fundamentinius, smalsumo skatinamus mokslinius tyrimus ir plačiau suvokti lemiamą jų vaidmenį reaguoti į pasaulinius iššūkius.GYA, 2022 m [48]).

Tyrimo terminijos reikšmės ir vartojimo nuoseklumo stoka apskritai yra kliūtis pokyčiams. Mokslinių tyrimų vertinimo konceptualioji struktūra laikui bėgant iš esmės nepasikeitė, taip pat jį remianti kalba: tyrimų sistema vis dar įstrigo senose dichotomijose, tokiose kaip „pagrindinis“ ir „taikomasis“ mokslas, ir tokie terminai kaip „poveikis“, „kokybė“. (nenaudingai tapatinamas su produktyvumu) ir „puikumas“ nėra aiškiai apibrėžti taip, kad būtų išvengta geografinių, drausminių, karjeros etapų ir lyties šališkumo. (Jong ir kt., 2021 m [49]): tai gali būti ypač aktualu sprendimų priėmimo grupėse, kuriose trūksta įvairovės (Hatchas ir Karis, 2020 m )[50].

Kaip ir metrika pagrįstas vertinimas, kokybinės vertinimo formos taip pat yra netobulos. Argumentuoti, kad tarpusavio peržiūros procesai ir ekspertų sprendimas yra bent jau tokie pat svarbūs kaip bibliometrija, nėra paprasta. Jie gali būti šališki, nes tarpusavio peržiūros procese trūksta aiškumo ir skaidrumo. Pavyzdžiui, tarpusavio peržiūros komitetai buvo kritikuojami kaip mechanizmai, išsaugantys nusistovėjusias galios ir privilegijų formas, leisdami išlikti „senų berniukų tinklams“ ir homofilijai (vertintojams, ieškantiems panašių į save) ir tuo pat metu yra pažeidžiami grupinio mąstymo dinamikos. Kiekybiniai rodikliai, nors ir netobuli, kai kuriose pasaulio dalyse laikomi apsauga nuo nepotizmo ir šališkumo. Panašūs argumentai gali būti taikomi ir mokslinio tyrimo straipsnių tarpusavio peržiūrai, o kokybinio vertinimo naudojimas gali atverti duris kitoms diskriminuojančio elgesio formoms.

Profesionalus tarpusavio peržiūros pripažinimo ir mokymo trūkumas bet kokia forma trukdo dirbti kaip kolegų vertintojas, o tai mažina pajėgumus. Be to, kadangi paklausa viršija pasiūlą, tai gali paskatinti apsisukti ir mažinti griežtumą. Būtina didinti tarpusavio peržiūros skaidrumą (visiškai atvirą, anoniminę ar mišrią) ir mokyti, skatinti ir apdovanoti gerą tarpusavio vertinimo praktiką; kaip ir tolesni modelių evoliucijos tyrimai, nes mokslinių tyrimų rezultatai įvairėja (IAP, 2022 m [51]) ir dirbtinio intelekto technologijos tobulėja.

Diskusijos dėl mokslinių tyrimų vertinimo reformos yra sudėtingos ir nėra dvejetainės. Kokybinė ir kiekybinė informacija dažnai buvo derinama tarpusavio peržiūros kontekste: tokie teiginiai kaip Leideno manifestas dėl tyrimų metrikų (Hicks ir kt., 2015 m [52]) ragina atlikti „informuotą tarpusavio peržiūrą“, kurios metu ekspertų vertinimas būtų pagrįstas, bet ne pagrįstas tinkamai parinktais ir interpretuotais kiekybiniais rodikliais ir kokybine informacija. Diskusija apie tyrimų vertinimą yra ne dvejetainis „kokybinis ir kiekybinis“ vertinimo priemonių pasirinkimas, o tai, kaip užtikrinti geriausią kelių informacijos formų derinį.

Galiausiai, bet kokia reforma turi būti patogi ir įgyvendinama. Tyrimų sistema jau rodo žlugimo požymius, nes publikacijų apimtis auga eksponentiškai, o peržiūros našta netolygiai krinta visoje mokslinių tyrimų įmonėje (pvz. Publonai, 2018 m [53]; Kovanis ir kt., 2016 m [54]; Gamta, 2023 m [55]). Žurnalais pagrįstos metrikos ir h indeksas kartu su kokybinėmis leidėjo prestižo ir institucijos reputacijos sąvokomis gali būti patogios nuorodos užimtiems vertintojams ir kliūtis pokyčiams, kurios labai įsitvirtino akademiniame vertinime (Hatchas ir Karis, 2020 m [56]). Kai kuriose šalyse kiekybiniai rodikliai vertinami kaip gana aiškūs ir nedviprasmiški paskyrimo ir paaukštinimo būdai. „Pasauliniame pietuose“ paprastai naudojami vidutiniai poveikio veiksniai siekiant įtraukti kandidatus į galutinį sąrašą, o bet kokia alternatyva turi būti vienodai įgyvendinama ir turėti galimybę panaudoti papildomus išteklius, kurių neišvengiamai reikia norint išplėsti vertinimo sritį. Paprastų kiekybinių metrikų naudojimo patogumas atliekant tyrimų vertinimą greičiausiai bus pagrindinė kliūtis pokyčiams, o naujų vertinimo sistemų įdiegimas gali netgi sukurti daugiau pasaulinės nelygybės, nes kai kuriose šalyse trūksta pajėgumų ar kompetencijos.

Per pastarąjį dešimtmetį buvo parengta daugybė aukšto lygio manifestų ir mokslinių tyrimų vertinimo principų, skirtų šiems iššūkiams spręsti, įskaitant Leideno manifestą (kurį sukūrė tarptautinių ekspertų grupė), Honkongo principus.Moher ir kt., 2020 [57]) (sukurta 6 m. 2019-ojoje pasaulinėje mokslinių tyrimų vientisumo konferencijoje) ir Metrinis potvynis [58] ir Metrinio potvynio panaudojimas [59] ataskaitos (parengtos atsižvelgiant į JK mokslinių tyrimų ir vertinimo sistemos apžvalgą, REF). Yra bent 15 skirtingų pastangų, raginančios pagrindines suinteresuotąsias šalis – politikos formuotojus, finansuotojus ar aukštojo mokslo institucijų (AMI) vadovus – sumažinti galimą dabartinių vertinimo sistemų žalą. Visos šios iniciatyvos pasiekė plačią auditoriją ir pažangiai orientuojasi į atsakingus rodiklius, nes tai būtina sąlyga siekiant tobulinti mokslinių tyrimų kultūrą ir suteikti lygybės, įvairovės, įtraukties ir priklausymo mokslinių tyrimų bendruomenei. Tačiau kai kurie šių iniciatyvų kūrėjai vis labiau nerimauja, kad, nors ir naudingos, jos trukdo apčiuopiamiems praktiniams veiksmams: pasirašymas yra veiksmingas tik tada, kai jį įgyvendinant praktiškai (Gamta, 2022 m [60]).

Vis labiau remiamas „atsakingas tyrimų vertinimas arba vertinimas“ ir „atsakingi metrikai“ (DORA, 2012 m [61]; Hicks ir kt. 2015 m [62]; Wilsdon ir kt., 2015 m), kurios pereina nuo grynai kiekybinių metrikų prie įvairesnių priemonių, kad mokslininkai galėtų apibūdinti savo mokslinių tyrimų ekonominį, socialinį, kultūrinį, aplinkosaugos ir politikos poveikį; atsižvelgti į problemas, kurias vertina mokslininkų bendruomenė: „duomenys apie gėrį“ arba „vertės rodikliai“, kurie apima platesnius požymius (Curry ir kt., 2022 m [63]). Pastaraisiais metais kai kurios aukštosios mokyklos ir mokslinių tyrimų finansuotojai visame pasaulyje regionuose ir šalyse sukūrė ir išbandė naujoviškus ir pažangius atsakingo mokslinių tyrimų vertinimo metodus. Kai kurie čia paryškinti.

Iš aukščiau paminėtų pasaulinių iniciatyvų San Francisko 2013 m.Deklaracija dėl tyrimų vertinimo[64] (DORA) yra bene aktyviausia pasaulinė iniciatyva. Jame suskirstytos problemos, kylančios dėl žurnaluose pagrįstų rodiklių naudojimo atskirų mokslininkų veiklai įvertinti, ir pateikta 18 rekomendacijų, kaip pagerinti tokį vertinimą. DORA kategoriškai nerekomenduoja naudoti žurnaluose pagrįstų metrikų, kad įvertintų tyrėjo indėlį arba kai nori samdyti, paaukštinti ar finansuoti. 2023 m. balandžio mėn. viduryje deklaraciją pasirašė 23,059 160 signatarai (institucijos ir asmenys) XNUMX šalių, įsipareigoję vykdyti reformas. Siekdama įveikti esminius kokybinio vertinimo iššūkius ir įgimtus šališkus dalykus, DORA kuria. Įrankiai, skirti išplėsti tyrimų vertinimą (TARA) [65] siekiant padėti deklaraciją įgyvendinti praktikoje: šios priemonės apima informacijos suvestinę, skirtą naujoviškoms karjeros vertinimo politikai ir praktikai indeksuoti ir klasifikuoti, ir išteklių rinkinį, padedantį sumažinti komiteto sudėtį ir atpažinti įvairias kokybines tyrimų poveikio formas.

Be to, DORA finansuoja dešimt projektų – Argentinoje, Australijoje, Brazilijoje, Kolumbijoje (2), Indijoje, Japonijoje, Nyderlanduose, Ugandoje ir Venesueloje – siekiant išbandyti įvairius būdus, kaip skatinti mokslinių tyrimų vertinimo reformas jų vietiniame kontekste. gerosios praktikos pavyzdžių rinkimas: pavyzdžiui, informuotumo didinimas, naujos politikos ar praktikos kūrimas, mokymai ir praktinės rekomendacijos kandidatams į darbą (DORA [66]). Tokio pobūdžio dotacijų paklausa buvo didelė – daugiau nei 55 pareiškėjai iš 29 šalių – tai rodo, kad vis labiau pripažįstamas reformos poreikis.

Profesionalios mokslinių tyrimų vadybos asociacijos, tokios kaip Tarptautinis tyrimų valdymo draugijų tinklas (INORMS), taip pat aktyviai plėtoja išteklius organizaciniams pokyčiams, įskaitant SCOPE pagrindų tyrimų vertinimo grupė | INORMS – INORMS SCOPE tyrimų vertinimo sistema [67] kuris pradedamas apibrėžiant, kas yra vertinama, kas vertinama ir kodėl (naudingas aiškinamasis plakatas čia [68]).

Tarptautinis plėtros sektorius pasiūlė naujas mokslinių tyrimų vertinimo perspektyvas – puikus pavyzdys Tyrimų kokybės pliusas | IDRC – Tarptautinis plėtros tyrimų centras [69], kuris įvertina tai, kas svarbu žmonėms tyrimo pabaigoje. „Research Quality Plus“ (RQ+) priemonė pripažįsta, kad moksliniai nuopelnai yra būtini, bet nepakankami, pripažįstant esminį vartotojų bendruomenės vaidmenį nustatant, ar tyrimai yra svarbūs ir teisėti. Taip pat pripažįstama, kad tyrimų atnaujinimas ir įtaka prasideda tyrimo proceso metu. Mokslinių tyrimų programas dažnai vertina labai tarpdisciplininės komisijos, kuriose taip pat yra plėtros ekspertų iš išorės akademinių bendruomenių (pvz., vyriausybės departamento ar nevyriausybinės organizacijos (NVO)), praktikų ir šalies atstovų: tai sustiprina vartotojų bendruomenės / ne dalykų ekspertų svarbą. reikia suprasti tyrimą ir kaip jis gali būti pritaikytas praktikoje. Tyrimai sudėtingose, mažas pajamas gaunančiose arba silpnose aplinkose gali būti papildyti etikos priemonių rinkiniu arba sistema, skirta informuoti ir paremti etinius pasirinkimus mokslinių tyrimų ciklo metu, nuo pradžios iki sklaidos ir poveikio, pvz. Reid ir kt., 2019 [70]. „Pokyčių teorijos“ metodai yra plačiai naudojami tarptautiniuose vystymosi tyrimuose, kuriuos atlieka donorai, NVO ir daugiašalės agentūros, kur pareiškėjai turi aiškiai išdėstyti poveikio kelius, paremtus stebėjimo, vertinimo ir mokymosi sistemomis, pvz., Valteris, 2014 m [71]. Akademinė mokslinių tyrimų bendruomenė gali pasimokyti iš kūrėjų bendruomenės.

Pripažindamas finansuotojų vaidmenį formuojant aukštųjų mokyklų strategijas, Pasaulinės mokslinių tyrimų tarybos (GRC) atsakingų tyrimų įvertinimas (RRA) iniciatyva [72] buvo skatinami pagrindiniai mokslinių tyrimų finansuotojai visame pasaulyje siekti RRA ambicijų savo regioniniame ir nacionaliniame kontekste ir sukurti veiksmingas vertinimo sistemas, skirtas poveikiui įvertinti (aiškinamasis vaizdo įrašas). čia [73]). Darbo dokumento dėl RRA užsakymas (Curry ir kt., 2020 m [74]), GRC paragino savo narius įtvirtinti RRA principus ir imtis konkrečių veiksmų jiems įgyvendinti bei mokytis vieni iš kitų bendradarbiaujant ir dalijantis gerąja patirtimi. An tarptautinė darbo grupė [75] teikia rekomendacijas ir paramą GRC nariams, padeda jiems pereiti nuo judėjimo prie veiksmų.

Didele dalimi GYA pastangomis ECR taip pat pradeda telktis šiai darbotvarkei. Jo Mokslinės kompetencijos darbo grupė [76] siekia nustatyti mokslinių tyrimų aplinkas, palankias „išlaisvinti smalsumą ir kūrybiškumą moksle ir skatinti žmogiškojo potencialo plėtrą per įvairovę ir įtrauktį“. Jų darbas ragina ECR bendruomenę mesti iššūkį jų organizacijų vartojamiems „meilės“ apibrėžimams, įsitraukti į iniciatyvas, skirtas reformuoti mokslinių tyrimų vertinimą, ir prisijungti prie Jaunųjų akademijų judėjimo. Ji taip pat ragina finansavimo ir samdymo įstaigas įtraukti ECR į mokslinių tyrimų vertinimo diskusijas ir pripažinti didesnę indėlio į mokslinius tyrimus ir karjeros juose įvairovę.

Nors kai kurie universitetai ir kitos aukštosios mokyklos yra pasirašiusios DORA ir (arba) prisijungusios prie Europos judėjimo (aprašomas toliau), neatrodo, kad jos bendradarbiauja su mokslinių tyrimų vertinimu taip, kaip yra kitos pagrindinės apygardos.

Problemos, kurias sukelia beveik vien kiekybinės vertinimo sistemos, dažniausiai matomos ir diagnozuojamos iš „pasaulinės šiaurės“ perspektyvos, o „pasauliniams pietams“ kyla pavojus, kad jie gali pasivyti. Kylant pernelyg didelio apibendrinimo rizikai, „pasaulinėje šiaurėje“ yra didelių sisteminių problemų, susijusių su įvairovės, teisingumo ir įtraukties stoka, kurias dar labiau paaštrina vertinimo sistemos. „Globaliuose pietuose“ trūksta vietos ir regioninio „kokybės“ ir „poveikio“ apibrėžimo, labai skiriasi vertinimo sistemos (netgi to paties universiteto padaliniuose) ir gana mažai iššūkių. status quo. Visame pasaulyje problemos kyla dėl pernelyg didelio dėmesio kiekybiniams rodikliams, ryšio tarp vertinimo ir išteklių paskirstymo, labai konkurencingos finansavimo sistemos ir spaudimo skelbti bei kitų, mažiau kiekybiškai įvertinamų mokslinių tyrimų ir akademinio gyvenimo aspektų nepaisymo.

Recenzuojamos literatūros apie mokslo vertinimo reformos lyginamuosius tyrimus yra nedaug. Reta išimtis yra tyrimų vertinimo intervencijų šešiose skirtingose ​​geografijose (Australijoje, Kanadoje, Vokietijoje, Honkonge, Naujojoje Zelandijoje ir JK) palyginimas, kuriame pastebima, kad visų šešių indeksuotų rezultatų rodikliai pagerėja po kelių tipų intervencijų (bent jau naudojant įprastinius bibliometrinius rodiklius) (ISI, 2022 m [77]). DORA pateikia (daugiausia institucinius) atvejų tyrimus savo tinklalapyje (DORA [78]) ir ataskaitoje (DORA, 2021 m [79]), skirtos įkvėpti kitus veikti, tačiau tai daugiausia Europos pavyzdžiai.

Čia autoriai pateikia regionines apžvalgas ir nacionalinius eksperimentų ir reformų pavyzdžius, kad būtų galima geriau suprasti – jie nėra išsamūs ar išsamūs.

Geriausios ES mokslinių tyrimų vertinimo reformų koalicija [80] arba CoARA, patvirtinta 2022 m. liepos mėn., yra didžiausia mokslinių tyrimų vertinimo reformos iniciatyva pasaulyje. Ketverius metus buvo kuriama ir sukurta 350 organizacijų 40 (daugiausia Europos) šalių, Europos universitetų asociacija ir „Science Europe“ (žemyno mokslo finansuotojų ir akademijų tinklas), kartu su Europos Komisija parengė susitarimą arba nustatymą. principų (a'reformos kelionė'), kad būtų atliktas įtraukesnis ir atsakingesnis tyrimų vertinimas (CoARA, 2022 m [81]). Sutartyje daugiausia dėmesio skiriama trims vertinimo lygiams: institucijoms, pavieniams mokslininkams ir pačiam tyrimui. Nors koaliciją valdo Europos partneriai, ji siekia tapti pasauline, o DORA ir GYA jau yra pasirašiusios. Pasirašiusios šalys įsipareigoja skirti išteklius, kad pagerintų mokslinių tyrimų vertinimą, sukurtų naujus vertinimo kriterijus ir priemones, didintų informuotumą ir surengtų mokymus apie mokslinių tyrimų vertinimą (pvz., recenzentams). Šis vystymasis buvo apibūdintas kaip „kol kas labiausiai viltingas tikrų pokyčių ženklas“ (Gamta, 2022 m [82]).

ES taip pat finansuoja keletą įdomių naujų iniciatyvų, skirtų mokslinių tyrimų vertinimo reformai remti: visų pirma atvirąjį ir universalųjį mokslą.OPUS [83]) – sukurti „išsamų rodiklių rinkinį“, apimantį įvairius tyrimų procesus ir rezultatus, ir taip paskatinti Europos mokslininkus užsiimti atviru mokslu ir atviro mokslo vertinimo duomenų erdve. GraspOS [84] – sukurti atvirą duomenų erdvę mokslinių tyrimų vertinimo politikos reformai paremti.

Europos mokslinių tyrimų taryba (EMT), kuri remia netirtų sričių mokslinius tyrimus visose srityse (kurios 16–2021 m. biudžetas yra 2027 mlrd. EUR), pasirašė CoARA ir iš dalies pakeitė savo vertinimo formas ir procesus, kad įtrauktų daugiau aprašomų aprašymų, įskaitant mažiau. įprastus karjeros kelius ir „išskirtinį indėlį“ į mokslinių tyrimų bendruomenę. Pasiūlymai bus vertinami labiau pagal jų nuopelnus, o ne į ankstesnius pareiškėjo pasiekimus, ir toliau juos vertins tarpusavio vertinimo komisijos, sudarytos iš pirmaujančių mokslininkų, remdamosi vieninteliu mokslinės kompetencijos kriterijumi.ERC, 2022 m [85]).

Dalyvauja ir kai kurios Europos akademijos. Valdyba ALLEA [86] Europos mokslų ir humanitarinių mokslų akademijų federacija, atstovaujanti devynioms iš daugiau nei 50 nacionalinių akademijų 40 Europos šalių, pritarė CoARA judėjimui. ALLEA įsipareigojo įsteigti specialią darbo grupę, kuri rinktų, keistųsi ir skatintų gerąją praktiką, susijusią su naujų akademijų priėmimu. Fellows ir prisidėti prie „prasmingų kultūrinių mainų“ mokslinių tyrimų vertinimo srityje, remiantis kokybės, sąžiningumo, įvairovės ir atvirumo principais. spalio 2022 dienos pareiškimas , ALLEA ragina akademijas nares atlikti šiuos veiksmus:

1. Pripažinti įnašų į mokslinius tyrimus ir karjeros juose įvairovę, atsižvelgiant į tyrimų poreikius ir pobūdį; Akademijos stipendininkų atrankos procedūrose turėtų būti (1) atsižvelgiama į lyčių pusiausvyrą ir unikalius ankstyvosios karjeros tyrėjų iššūkius, (2) remti kultūrų ir disciplinų įvairovę, (3) vertinant įvairias kompetencijos sritis ir talentus ir (4) skatinti tarpdiscipliniškumą ir daugiakalbystę.

2. Tyrimo vertinimą visų pirma pagrįsti kokybiniu vertinimu, kuriam svarbiausia yra tarpusavio peržiūra, paremta atsakingai naudojant kiekybinius rodiklius; kandidatų į stipendininkus darbo kompetencijos ir poveikio vertinimas turėtų būti pagrįstas kokybine tarpusavio peržiūra, kuri atitinka pagrindinius griežtumo ir skaidrumo principus ir atsižvelgia į specifinį mokslo disciplinos pobūdį.

3. Atsisakyti netinkamo žurnalais ir publikacijomis pagrįstų metrikų naudojimo tyrimų vertinime; visų pirma tai reiškia, kad reikia atsisakyti tokių metrikų kaip žurnalo poveikio faktorius (JIF), straipsnio įtakos balas (AIS) ir h-indeksas kaip dominuojantys kokybės ir poveikio rodikliai.

Allea pareiškimas dėl mokslinių tyrimų vertinimo reformos Europos akademijose

Savo bendras atsakas [87] ES susitarimui ir CoARA koalicijai, ECR bendruomenė GYA taip pat palankiai įvertino šį įsipareigojimą ir siūlo būdus, kaip įgyvendinti jo principus. Tai apima visa apimančią ir nacionalinių ypatybių bei disciplinų ypatybių įvairovę atspindinčią praktiką, kai visų karjeros etapų mokslininkai mokomi, skatinami ir apmokami, o privalomas atvirojo mokslo mokymas tyrėjams, darbuotojams ir komitetų nariams yra labai svarbus.

Moksliniams tyrimams imlūs Europos universitetai taip pat remia mokslinių tyrimų vertinimo reformą, nes tai yra kelias į „daugiamatę“ mokslininko karjerą.Overlaet, B., 2022 m [88]). Jie sukūrė bendrą sistemą, siekdami įkvėpti ir remti universitetus, kad jie pripažintų įvairų indėlį į mokslinius tyrimus, švietimą ir paslaugas visuomenei.

Nacionaliniu lygiu kelios šalys dabar bando skirtingus vertinimo modelius: pavyzdžiui, nacionalinės finansavimo agentūros Belgija, Olandija, Šveicarija bei UK visi naudoja „naratyvinius CV“. Naratyviniuose CV holistiškiau žvelgiama į akademinius pasiekimus: indėlį į žinių kūrimą, į individų tobulėjimą, į platesnę mokslinių tyrimų bendruomenę ir į platesnę visuomenę (Karališkosios draugijos [89]). Nors šio tipo CV vis labiau remiamas, taip pat yra tam tikras susirūpinimas, kad jie verčia akademikus būti gerais viskuo, todėl gali pakenkti gilioms žinioms siekiant visapusiško statuso (Grove, J., 2021 m [90]).

Keturi nacionalinių mokslinių tyrimų sistemų, koordinuojančių nacionalines į karjerą orientuotų akademinių vertinimų reformas, pavyzdžiai pateikiami toliau pateiktuose teksto laukeliuose.

Nacionalinis pavyzdys: JK

JK mokslinių tyrimų vertinimo sistema (REF) vertina mokslinių tyrimų poveikį dviem aspektais: „reikšmingumas“ (apčiuopiamas projekto skirtumas) ir „pasiekiamumas“ (kiekybiškai įvertinamas jo mastas).UKRI). Poveikis čia apibrėžiamas kaip „poveikis, pokytis arba nauda ekonomikai, visuomenei, kultūrai, viešajai tvarkai ar paslaugoms, sveikatai, aplinkai ar gyvenimo kokybei, ne tik akademinės bendruomenės“, bet be to, jis yra labai atviras, disciplinos. kintamos ir, be abejonės, dviprasmiškos, pavyzdžiui, tinkamai neatsižvelgiama į visuomenės dalyvavimą.

JK REF yra vertinamas 2022–2023 m Būsimų tyrimų vertinimo programa ištirti galimus naujus JK aukštojo mokslo tyrimų rezultatų vertinimo metodus ir suprasti tarptautinę mokslinių tyrimų vertinimo praktiką. Kita REF iteracija galbūt atsižvelgs į įvairesnį rezultatų rinkinį ir galbūt net sumažins jiems teikiamą svarbą. Dabartinis modelis teikia 60 % svarbos rezultatams, 25 % – mokslinių tyrimų poveikiui ir 15 % – mokslinių tyrimų kultūrai/aplinkai. Jei jie būtų pasverti tolygiau, REF atrodytų labai kitaip, daugiau dėmesio būtų skiriama mokslinių tyrimų kultūrai, tyrimų vientisumui ir komandos darbui (Grovas, 2020 m).

Nacionalinis pavyzdys: Suomija

2020 m. Suomijos Išmoktų visuomenių federacija koordinavo mokslinių tyrimų finansuotojų, universitetų ir sąjungų darbo grupę, kuri paskelbė pareiškimą. Geroji tyrimų vertinimo praktika. Jame pateikiamos gairės, kaip laikytis atsakingo atskirų akademikų vertinimo proceso, įskaitant penkis bendruosius vertinimo principus: skaidrumą, sąžiningumą, teisingumą, kompetenciją ir įvairovę. Gera mokslinių tyrimų vertinimo praktika reikalauja, kad vertinant asmenų akademinį indėlį būtų geriau pripažįstamas mokslinių tyrimų vientisumas, švietimas ir mentorystė bei mokslinės paslaugos (pvz., tarpusavio peržiūra). Teiginyje vertinimai vertinami ne tik apibendrinančių sprendimų rengimu: jis taip pat skatina vertintojus dalytis atsiliepimais su vertinamais asmenimis, kad būtų lengviau gauti grįžtamąjį ryšį ir mokytis.

Mokslinius tyrimus vykdančios organizacijos ir mokslinius tyrimus finansuojančios organizacijos įsipareigojo įgyvendinti gerąją mokslinių tyrimų vertinimo praktiką ir sukurti savo vietinius rekomendacijų variantus, o nacionalinis tyrėjų portfelio CV modelis yra kuriamas. Gera tyrimų vertinimo praktika įpareigoja reguliariai peržiūrėti ir tobulinti.

Nacionalinis pavyzdys: Nyderlandai

Nyderlanduose nacionalinė pripažinimo ir apdovanojimų programa prasidėjo 2019 m., paskelbus pozicijos pareiškimą. Kambarys kiekvieno talentams. Šis nacionalinis bendradarbiavimas tarp Karališkosios Nyderlandų menų ir mokslų akademijos (KNAW – IAP ir ISC narys), mokslinių tyrimų finansuotojų, universitetų ir medicinos centrų teigia, kad reikia sistemingai modernizuoti mokslinių tyrimų vertinimo kultūras. Tai darydama, ji numato penkis vertinimo procedūrų pokyčio siekius: didesnę karjeros kelių įvairovę, individualių ir komandos rezultatų pripažinimą, darbo kokybės prioritetą, o ne kiekybinius rodiklius, atvirą mokslą ir akademinę lyderystę.

Nuo 2019 m. Nyderlandų universitetai pradėjo priimti savo vietinius nacionalinės vizijos pareiškimo vertimus. Tuo pat metu finansavimo agentūros inicijavo daugiau „pasakojimų CV“ formatų ir nustojo prašyti bibliometrinės informacijos, remdamosi San Francisko DORA kaip įkvėpimo šaltiniu. Nyderlandų mokslinių tyrimų taryba visai neseniai persikėlė į an „įrodymais pagrįstas“ CV kurioje gali būti panaudota kiekybinė informacija. KNAW taip pat sukūrė savo trejų metų planą pripažinimo ir apdovanojimų darbotvarkę įgyvendinti viduje. Siekiant palengvinti pripažinimo ir apdovanojimų reformos programą, buvo paskirtas visą darbo dieną dirbantis programos vadovas ir komanda, o kasmet organizuojamas „Pripažinimo ir apdovanojimų festivalis“, kuriame dalyvauja pagrindiniai reformos dalyviai, siekiant paremti mokymąsi visoje bendruomenėje.

Galiausiai, finansuojama iš DORA bendruomenės dalyvavimo dotacijos, Iniciatyva „Jaunasis mokslininkas pereinamuoju laikotarpiu“, skirta doktorantams, įsikūrusi Utrechte, parengė naują doktorantų vertinimo vadovą, siekdama pakeisti tyrimų kultūrą.

Nacionalinis pavyzdys: Norvegija

2021 m. paskelbė Norvegija, Norvegijos universitetai ir Norvegijos mokslinių tyrimų taryba NOR-CAM – akademinių įvertinimų pripažinimo ir apdovanojimų įrankių rinkinys. NOR-CAM suteikia matricos sistemą, skirtą padidinti skaidrumą ir išplėsti mokslinių tyrimų ir tyrėjų vertinimą, o ne siaurus bibliometrinius rodiklius. NOR-CAM reiškia norvegų karjeros vertinimo matricą ir buvo pritaikyta 2017 m. pranešti Europos Komisija, kuri pristatė atvirojo mokslo karjeros vertinimo matricą. Kaip ir jo pirmtakas Europoje, NOR-CAM taip pat siūlo būdus, kaip geriau integruoti atviro mokslo praktiką į vertinimus. Matricos tikslas – padėti vertintojams ir kandidatams į akademines pareigas, mokslinių tyrimų finansavimo paraiškas ir nacionaliniams vertintojams, vertinantiems Norvegijos mokslinius tyrimus ir švietimą. Jis taip pat skirtas kaip bendras individualios karjeros plėtros vadovas.

Matrica apima šešias pagrindines kompetencijų sritis: tyrimo rezultatus, tyrimo procesą, pedagogines kompetencijas, poveikį ir inovacijas, lyderystės ir kitas kompetencijas. Tada matricoje pateikiami pasiūlymai, kaip įgalinti karjeros planavimą ir vertinimą pagal kiekvieną kriterijų – rezultatų ir įgūdžių pavyzdžiai, dokumentavimo priemonės ir raginimai apmąstyti kiekvieną kriterijų. Nesitikima, kad kandidatai atitiks visus kriterijus vienodai.

NOR-CAM sukūrė mokslinius tyrimus vykdančių ir finansuojančių organizacijų suinteresuotųjų šalių darbo grupė, kurią koordinuoja Norvegijos universitetai, o tai reiškia, kad iš principo į ją įsigyja visų Norvegijos universitetų nariai. Vėliau buvo surengti seminarai, kuriuose dalyvavo Norvegijos universitetai, siekiant kartu kurti būdus, kaip NOR-CAM integruoti į paskyrimo ir paaukštinimo vertinimo procedūras, o kuriama „automatinė“ CV sistema, skirta duomenims iš kelių nacionalinių ir tarptautinių šaltinių gauti, siekiant sumažinti administracines išlaidas. našta. Pirmiau minėtų trijų nacionalinio lygmens reformų schemų koordinatoriai reguliariai susitikdavo, kad keistųsi patirtimi ir pasidalytų mokymusi.

Lotynų Amerika ir Karibai (LAC) daugeliu atžvilgių skiriasi nuo kitų pasaulio dalių. Čia mokslas laikomas pasauline viešąja gėrybe, o jo mokslinių tyrimų ir akademinės leidybos sistemos bei infrastruktūra yra valstybinės (finansuojamos) ir nekomercinės: tačiau šios regioninės stiprybės ir tradicijos dar neatsispindi vertinimo sistemose. Pagrindinės suinteresuotosios šalys, galinčios daryti pokyčius, yra nacionalinės mokslinių tyrimų tarybos, mokslo ministerijos ir pagrindiniai mokslinių tyrimų universitetai – aukštųjų mokyklų vaidmuo yra gyvybiškai svarbus, nes daugiau nei 60 % mokslininkų dirba universitetuose.RiCyT, 2020 m [91]). Vertinimo sistemas galima labiau suderinti su tvarios plėtros tikslais ir atviro mokslo bei piliečių mokslo judėjimais, kurie regione turi klestinčias tradicijas.

Šiuo metu nacionaliniu, vietiniu ir instituciniu mastu labai susiskaldžiusi mokslinių tyrimų vertinimo sistemos, todėl moksliniai tyrimai konkuruoja su kitomis funkcijomis, tokiomis kaip mokymas, plėtojimas ir bendra gamyba. Tyrimų vertinimo ir tyrėjų apdovanojimų sistemos LAK paprastai teikia pirmenybę kompetencijos sampratai, įtvirtintai „pasaulinės šiaurės“ metodikose, pagrįstai tik žurnalų ir universitetų reitingų įtakos faktoriumi (CLACSO, 2020 m [92]). Įvairių žinių kūrimo ir komunikacijos formų pripažinimo ir akademinės karjeros įvairovės (pvz., mokymas, mokymas ir mentorystė, piliečių mokslas ir viešoji mokslo komunikacija) mokslinių tyrimų vertinimo praktikoje iš esmės nėra. Tai ypač problemiška socialinių ir humanitarinių mokslų tyrėjams, kur plačiai vartojamos monografijos ir vietinės kalbos (CLACSO, 2021 m [93]). Regioniniai žurnalai ir rodikliai tokiuose vertinimo procesuose nuvertinami arba nepripažįstami. Visa tai dar labiau apsunkina silpnos informacinės sistemos ir silpnas (ypač bendruomenei priklausančių) infrastruktūrų sąveikumas, nepakankamas finansavimas, nes menkos lėšos nukreipiamos į APC mokėjimus už atviros prieigos žurnalus.

Nepaisant to, kai kurie regiono universitetai pradeda diegti vertinimo praktiką, kuri taiko kokybinių ir kiekybinių metodikų derinį, ypač vertinant tyrėjus ir į misijas orientuotus tyrimus.Gras, 2022 m [94]). Norint pereiti prie išsamesnių mokslinių tyrimų vertinimo schemų, reikės kartu sukurti daugiau kokybinių kriterijų; atsakingas kiekybinių duomenų naudojimas ir tarpusavio peržiūros procesų stiprinimas; laipsniški pokyčiai, kurie suderina ir koordinuoja politiką ir metodikas siekiant bendrų atsakingo tyrimų vertinimo ir atviro mokslo principų; naujos metodikos ir duomenys, skirti geriau įvertinti tarpdisciplininius mokslo, aplinkos ir vietos klausimus; bendra, sąveiki, tvari, sujungta infrastruktūra, palaikanti biblijų įvairovę ir daugiakalbystę; ir dalyvaujamieji, „iš apačios į viršų“ modeliai, kurie padidina piliečių ir socialinių judėjimų dalyvavimą bei nepakankamai atstovaujamų mokslinių tyrimų grupių įtraukimą.

Siekdamas spręsti šiuos iššūkius, regionas priėmė mokslinių tyrimų vertinimo principų ir gairių rinkinį. The CLACSO-FOLEC mokslinių tyrimų vertinimo principų deklaracija [95], patvirtintas 2022 m. birželio mėn., skirtas garantuoti ir saugoti kokybišką ir socialiai reikšmingą mokslą, atsižvelgti į DORA ir atviro mokslo principus, mokslinių tyrimų rezultatų ir mokslininkų karjeros įvairovę, regioninių žurnalų ir indeksavimo paslaugų vertę bei tarpdiscipliniškumo, vietinės kalbos ir vietinių žinių. Šiuo metu ji turi per 220 šalininkų ir jau dabar pastebimos teigiamos atsakingo tyrimų vertinimo tendencijos ir reformos pavyzdžiai. Kai kurie nacionaliniai pavyzdžiai pateikti šiuose teksto laukeliuose.

Nacionalinis pavyzdys: Kolumbija

Kolumbijos universitetų asociacijos, universitetų leidėjai, mokslinių tyrimų vadovai ir mokslo bei technologijų valdymo tinklas, be kita ko, finansuoja DORA bendruomenės įsitraukimo apdovanojimą, bendradarbiauja su atsakingos metrikos Kolumbijoje teikiamomis galimybėmis ir iššūkiais. Per seminarus ir konsultacijas, įskaitant tarptautines organizacijas kaip gaires, jie sukūrė rubriką, padedančią Kolumbijos institucijoms kurti savo REF. Šioje rubrikoje stengiamasi atsižvelgti į vietos lygmeniu nustatytus iššūkius, kurie – aukštųjų mokyklų – apima žinių apie tyrimų vertinimo alternatyvas, nacionalinės tyrimų vertinimo ekosistemos prigimtį ir atsparumą pokyčiams trūkumą. A Specialioje interneto svetainėje buvo sukurta kartu su infografika, padedančia mokslininkams, o sklaida ir mokymasis toliau dalijamasi visoje šalyje.

Daugiau informacijos: Kolumbijos atsakingų metrikų projektas: Kolumbijos institucinio, metodinio tyrimo vertinimo instrumento link | DORA (sfdora.org)

Nacionalinis pavyzdys: Argentina

Įdomus reformos bandymas Nacionalinė mokslinių ir techninių tyrimų taryba (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) buvo sukurta speciali socialiniams ir humanitariniams mokslams skirta rezoliucija, pagal kurią žurnalai, indeksuojami pagrindinėje grandinėje, yra tame pačiame lygyje su žurnalais, indeksuotais regioninėse bazėse, pvz. SciELO, redalyc or Latindex-Catálogo. Šiuo metu reglamentas peržiūrimas, siekiant išsiaiškinti kai kuriuos jo įgyvendinimo neaiškumus ir išplėsti jo kriterijus. Savo ruožtu 2022 m. CONICET direktorių valdyba prisidėjo prie San Francisko DORA, viešai pripažindama savo įsipareigojimą gerinti mokslinius tyrimus stiprinant vertinimą ir nuolatinį procesų tobulinimą.

Geriausios Nacionalinė mokslinių tyrimų, technologijų plėtros ir inovacijų skatinimo agentūra (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), pagal Mokslo, technologijų ir inovacijų ministerija, yra pagrindinis mokslinių tyrimų finansuotojas šalyje dėl labai konkurencingų kvietimų įvairovės ir apimties. Šiuo metu AGENCIA įgyvendina a programa stiprinti tyrimų vertinimo procesus savo pagrindiniuose finansiniuose fonduose. Dabartiniai patobulinimai apima atlyginimą recenzentams, kad jie skatintų jų įsipareigojimą šiems procesams, paskatas atvirai prieigai, nes projektų rezultatai turėtų būti viešai paskelbti publikacijomis ar atviros cirkuliacijos dokumentais (atsižvelgiant įAtviros prieigos institucinės skaitmeninės saugyklosNacionalinis įstatymas 26.899) ir teisingumo bei įtraukties dimensijų įtraukimas per lytį, nepakankamai atstovaujamas kartų grupes ir (arba) institucinius stiprinimo išlyginimo mechanizmus į tyrimų vertinimo procesus. Nepaisant to, įvairiuose disciplinų komitetuose už pasiūlymus atsakingų pirmaujančių mokslininkų mokymosi programas vis dar vertina jų kolegos, taikydami citavimo poveikio rodiklius.

Galiausiai, finansuojamas iš DORA bendruomenės dalyvavimo dotacijos, Nacionalinio de la Platos universiteto Psichologijos fakultetas surengė virtualus įvykis 2022 m. rugsėjį apie psichologijos ir socialinių mokslų vertinimą, kuris pritraukė per 640 (daugiausia bakalauro) iš 12 šalių, parodydamas jaunimo susidomėjimą šiuo žemynu. Renginys padėjo suformuoti fakulteto ketverių metų valdymo planą ir pristatys knygą apie akademinio vertinimo reformą ispanų kalba.

Nacionalinis pavyzdys: Brazilija

Tyrimų vertinimas Brazilijoje karštai diskutuojamas tarp mokslinių tyrimų institucijų ir mokslininkų, jei ne valstijų ir federalinių vyriausybių. Tačiau nepaisant didžiausio DORA pasirašiusių institucijų skaičiaus pasaulyje, tyrimų vertinimo reformos pavyzdžių stebėtinai mažai. Po šalies DORA pasirašiusiųjų apklausos, institucijų konsultacijų ir viešo renginio, finansuojamo iš DORA bendruomenės dalyvavimo dotacijos, vadovas buvo parengta universitetų vadovams ištirti atsakingo vertinimo praktiką.

Vadove daugiausia dėmesio skiriama trims pagrindiniams veiksmams: (1) informuotumo apie visų formų atsakingą vertinimą didinimas; 2) vertintojų ir vertinamų asmenų mokymas ir gebėjimų ugdymas; ir 3) įgyvendinimas ir įvertinimas. Kiti žingsniai yra sukurti specialistų tinklą arba dešimt universitetų žvalgybos biurų, kad būtų pakeista vertinimo praktika ir bandomi kontekstui jautrūs modeliai, o galiausiai būtų parengtas veiksmų planas Brazilijos institucijoms, kurios nori imtis pokyčių.

„Projeto Métricas“ (2022). Instituciniai iššūkiai ir atsakingo vertinimo perspektyvos Brazilijos aukštajame moksle: Projeto Métricas DORA partnerystės rezultatų santrauka. San Paulo universitetas, Brazilija.

Šiaurės Amerikoje vyksta perėjimas nuo grynai kiekybinių rodiklių, kurį paspartina atvirojo mokslo darbotvarkė. Atviras mokslas ir atvira peržiūra padeda vertinimo praktiką padaryti skaidresnę, suteikdama galimybę savirefleksijai ir problemoms spręsti, pvz., savęs citavimui ir draugystės samdymo, paaukštinimo ir kolegų vertinimo komisijoms, taip pat įgimtam lyties ir kitokiam šališkumui. Vyksta diskusijos dėl būtinybės kurti pažangesnius, protingesnius rodiklius ir mišrius vertinimo metodus, galinčius sukurti hibridinį, konvergentišką vertinimo modelį, kuris tarnautų pagrindiniam mokslui (žinioms tobulinti) ir taikomajam mokslui (visuomeniniam poveikiui).

Taip pat pripažįstama, kad universitetams reikia akademinės erdvės ir laisvės, kad galėtų atpratinti nuo šiuo metu naudojamų vertinimo priemonių be jokio „pirmojo žingsnio nepalankios padėties“ ir kad naudotojų bendruomenė turėtų dalyvauti vertinimo procese, kad padėtų įvertinti žinių, jų įsisavinimo ir poveikio. Tačiau taip pat yra nenumatytas pasipriešinimas pokyčiams („tyčinis aklumas“) iš tyrimų ekosistemos viršaus ir apačios – iš tų, kurie gauna naudos iš status quo, ir iš tų, kurie neseniai į ją įžengė. Labai nedaug JAV universitetų pasirašė DORA, o naujas DORA projektas stengiasi suprasti, kodėl taip yra (TARA). Nepaisant to, tiek Kanadoje, tiek JAV yra keletas įdomių nacionalinių ir institucinių iniciatyvų, skirtų sisteminiams pokyčiams sukelti, pavyzdžių (žr. šiuos tekstinius laukelius).

Nacionalinis pavyzdys: JAV

JAV Nacionalinis mokslo fondas yra pagrindinis pokyčių balsas Mokslinių tyrimų poveikio visuomenėje skatinimas programa ir lydimas platesnis poveikio priemonių rinkinys tyrėjams ir vertintojams. Lygybė, įvairovė ir įtrauktis, įskaitant vietinių ir tradiciškai marginalizuotų bendruomenių įtraukimą, yra pagrindiniai veiksniai. IAP ir ISC narė, JAV nacionalinės mokslų akademijos taip pat siekia paskatinti plačią reformą, suteikdamos platformą keistis informacija ir mokytis reformuojant tradicinį mokslininko CV (NAS strateginė taryba, 2022 m). Kilęs iš JAV akademijų darbo, Aukštojo mokslo lyderystės iniciatyva atvirai stipendijai gauti yra daugiau nei 60 kolegijų ir universitetų grupė, pasiryžusi imtis kolektyvinių veiksmų, kad būtų skatinama atvira stipendija, įskaitant mokslinių tyrimų vertinimo persvarstymą, siekiant apdovanoti už atvirumą ir skaidrumą.

Pavyzdžiui, Nacionalinis sveikatos institutas sukūrė naują bioeskizas (SCIENcv) darbuotojams, teikiantiems paraiškas dotacijai, kad būtų sumažintas sisteminis šališkumas ir ataskaitų teikimo našta, o tuo pačiu būtų labiau orientuotas į poveikį.

Nacionalinis pavyzdys: Kanada

Kanadoje vyksta daug pokalbių apie tyrimų vertinimo reformą, kurią skatina DORA; visos trys federalinės mokslinių tyrimų tarybos yra pasirašiusios. Gamtos mokslų ir inžinerijos taryba turi naujai apibrėžti tyrimų kokybės kriterijai, atsisakant bibliometrijos, citatų ir h indekso, laikantis DORA principų: kokybės metrika dabar apima gerus tyrimų duomenis ir duomenų prieigos valdymą, teisingumą, įvairovę ir įtraukimą bei mokymo pareigas. Kitos dvi mokslinių tyrimų tarybos greičiausiai paseks šiuo pavyzdžiu.

Kanados mokslininkai linkę sutelkti dėmesį į „žinių mobilizavimą“ – tyčines pastangas didinti mokslinių tyrimų poveikį visuomenei per bendrą gamybą su vartotojų bendruomenėmis.ISI, 2022 m). Kanados tyrimų poveikis yra daugiau nei 20 universitetų tinklas, kurio tikslas – stiprinti institucinius gebėjimus pasitelkiant poveikio raštingumą arba gebėjimą „nustatyti tinkamus poveikio tikslus ir rodiklius, kritiškai įvertinti ir optimizuoti poveikio būdus bei apmąstyti įgūdžius, reikalingus įvairiems kontekstams pritaikyti metodus“. maksimaliai padidinti mokslinių tyrimų poveikį visuomenės labui.

Verta paminėti, kad labai nedaug Kanados universitetų yra pasirašę DORA. Tikėtina, kad pagrindinis bet kokių pokyčių motyvatorius bus vietinių gyventojų mokslas: Kanadoje tai tapo moraliniu reikalavimu.

Mokslinių tyrimų skatinimo ir atlygio sistemos Afrikoje dažniausiai atspindi „tarptautines“, pirmiausia Vakarų, normas ir konvencijas. Afrikos institucijos stengiasi jais vadovautis kurdamos savo požiūrį į „kokybę“ ir „pažangumą“ moksliniuose tyrimuose, tačiau jie ne visada atitinka vietos žinias ir poreikius. Tyrimų „kokybė“, „puikybė“ ir „poveikis“ žemyne ​​nėra tiksliai apibrėžti, o kai kurie tyrinėtojai nėra pripratę prie „tyrimų poveikio“ kultūros.

Vertinimo sistemos Afrikoje paprastai neatsižvelgia į mokslinius tyrimus, skirtus visuomenei naudai, mokymui, gebėjimų ugdymui, mokslinių tyrimų administravimui ir valdymui. Publikavimo modeliai nėra jautrūs kontekstui, o APC sukuria kliūtis Afrikos mokslinių tyrimų rezultatams. Mokslinių tyrimų vertinimo sistemų reforma galėtų padėti ištaisyti Afrikos mokslinių tyrimų indėlio į visuomenės problemas asimetriją, taip pat pagerinti prieigą prie išteklių, kad padėtų Afrikos mokslinių tyrimų bendruomenei tai padaryti. Būtina panaikinti tarpsektorinio ir tarpdisciplininio bendradarbiavimo kliūtis, kad požiūrių ir žinių sistemų įvairovė klestėtų ir padėtų suprasti, kas yra mokslinių tyrimų kokybė Afrikoje. Vykdant bet kokią reformą reikia atsižvelgti į mechanizmus, kurie integruoja vietinį, vietinį ir „tradicinį“ pasaulio požiūrį į mokslinių tyrimų kokybės ir kompetencijos vertinimą.

Žemyne ​​aplink RRA kuriamos tvirtos partnerystės. Finansuojamas tarptautinio plėtros agentūrų konsorciumo Mokslo dotacijų tarybų iniciatyva (SGCI) [96], kuriame dalyvavo 17 Afrikos šalių, atliko Afrikoje mokslinių tyrimų meistriškumo tyrimą, nagrinėdamas mokslo finansavimo agentūras ir tyrėjų vertinimą iš pasaulio pietų perspektyvos.Tijssen ir Kraemer-Mbula, 2017 m [97], [98]). Ji nagrinėjo mokslinių tyrimų kompetencijos Afrikoje į pietus nuo Sacharos klausimą ir poreikį sukurti metodą, kuris išplėstų kompetencijos sąvoką ne tik publikacijomis.Tijssen ir Kraemer-Mbula, 2018 m [99]); parengti gairių dokumentą, kuris šiuo metu atnaujinamas, apie gerąją mokslinių tyrimų konkursų įgyvendinimo praktiką.SGCI [100]). Pasaulio mokslo forume 2022 m., globojamame SGCI ir GRC, Pietų Afrikos Respublika Nacionalinis tyrimų fondas (NRF) ir Mokslo ir inovacijų departamentas sukvietė tarptautinius ir vietinius partnerius aptarti finansavimo agentūrų vaidmens plėtojant RRA, dalintis patirtimi, tobulinti gerą praktiką ir įvertinti gebėjimų stiprinimo ir bendradarbiavimo pažangą (NRF, 2022 [101]).

Geriausios Afrikos įrodymų tinklas [102], visos Afrikos, tarpsektorinis tinklas, kurį sudaro daugiau nei 3,000 praktikų, atliko tam tikrą tarpdisciplininių tyrimų įvertinimo darbą.Afrikos įrodymų tinklas [103]), tačiau dar nėra aišku, kiek tai buvo įtraukta į nacionalines ir regionines vertinimo sistemas. The Afrikos tyrimų ir poveikio tinklas [103] kūrė rezultatų suvestinę, kurią sudaro rodiklių rinkinys, skirtas mokslo, technologijų ir inovacijų (MTI) vertinimo kokybei Afrikoje įvertinti, ir tikimasi, kad ji taps internetiniu sprendimų priėmimo įrankiu, pagal kurį būtų vadovaujamasi priimant MTI investicinius sprendimus. .

Nacionaliniu lygmeniu prasidėjo laipsniški pokyčiai – kai kurie pavyzdžiai pateikiami tolesniuose teksto laukeliuose. Kitos šalys, kuriose mokslinių tyrimų finansavimo agentūros imasi iniciatyvos, yra Tanzanija (COSTECH), Mozambikas (FNI) ir Burkina Fasas (FONRID). GRC RRA iniciatyva pasirodo esanti svarbi platforma pokyčiams žemyne, kaip ir mokytis iš tarptautinio vystymosi sektoriaus, ypač IDRC. Tyrimų kokybės plius (RQ+) vertinimo sistema [104], su skirtumu, kad jis jau buvo pritaikytas, ištirtas ir patobulintas. Afrikoje įsikūrusi Tarptautinė vertinimo akademija [105] taip pat gali būti įdomi galimybė.

Nacionalinis pavyzdys: Dramblio Kaulo Krantas

Dramblio Kaulo Kranto centre Programa Appui Stratégique à la Recherche Scientifique (PASRES) (Strateginė mokslinių tyrimų paramos programa) yra įsitikinimas, kad mokslinių tyrimų kompetencija turi viršyti mokslinių publikacijų skaičių ir apimti „tyrimų įsisavinimo“ dimensiją. Prisitaikius prie nacionalinio konteksto, tyrimo vertinimo procesas grindžiamas kriterijais, susijusiais su moksliniu ir socialiniu aktualumu, partnerių įtraukimu, studentų mokymu, žinių sutelkimu ir įgyvendinamumu. Vertinimo komisijose dalyvauja mokslo ekspertai (siekiant įvertinti atliktų tyrimų kokybę), privataus sektoriaus (siekiant spręsti apie ekonominį praturtėjimą) ir kitų institucijų (tyrimo kultūriniam ir socialiniam potencialui įvertinti).

PASRES įsteigė du vietinius žurnalus (vieną socialinių mokslų ir kalbotyros, o kitą – aplinkos ir biologinės įvairovės) ir padengia visas leidybos juose išlaidas. Galiausiai, PASRES finansuoja gebėjimų stiprinimo veiklą ir temines konferencijas, kad mokslininkai galėtų pristatyti savo tyrimus privačiam sektoriui ir pilietinei visuomenei.

Daugiau informacijos: Ouattara, A. ir Sangaré, Y. 2020. Parama tyrimams Dramblio Kaulo Krante: projektų atrankos ir vertinimo procesai. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (red.), African Minds, p. 138–146

PASRES || Programa d'Appui Stratégique Recherche Scientifique (csrs.ch)

Nacionalinis pavyzdys: Pietų Afrika

Tyrimų vertinimas Pietų Afrikoje (SA) daugiausia orientuotas į bibliometriją. Nuo 1986 m., kai Aukštojo mokslo departamentas (DHET) įvedė subsidijų mokėjimo universitetams už mokslo publikacijas, publikuotas akredituotų indeksų žurnaluose, politiką, universitetų mokslinių publikacijų išeiga augo kartu su Rand verte, skiriama vienam leidiniui. Siekdami užsitikrinti mokslinių tyrimų finansavimą ir tobulinti savo karjerą, SA tyrėjai kuo greičiau paskelbė kuo daugiau straipsnių, sukurdami iškreiptas ir nenumatytas pasekmes.

Pietų Afrikos mokslų akademija (ASSAf) užsakė ataskaitą apie mokslinę publikaciją šalyje (2005–2014 m.) ir aptiko abejotinos redakcinės praktikos ir grobuoniškos leidybos požymių (ASSAf, 2019). Naudojant niuansuotą skirstymo į kategorijas sistemą, 3.4 % visų straipsnių per pastaruosius dešimt metų buvo vertinami kaip grobuoniški, o nuo 2011 m. skaičiai išaugo dar labiau. Žurnalai, pripažinti grobuoniškais, buvo įtraukti į DHET „priimtinus finansuoti“. sąrašą ir buvo nustatyta, kad dalyvauja visų SA universitetų akademikai (Mouton ir Valentine, 2017).

Atrodo, kad ASSAf ataskaitoje buvo pateiktos rekomendacijos sisteminiu, instituciniu ir individualiu lygmenimis, o vėliau DHET, NRF ir kai kurių universitetų atsakomosios priemonės sumažino grobuonišką praktiką SA, o SA akademikų grobuoniškos publikacijos (DHET akredituotuose žurnaluose) buvo didžiausias 2014 m. 2015 m., o vėliau mažėjo. Tyrėjai taip pat nerimavo, kad SA DHET politika trukdė bendradarbiauti ir nepripažino asmenų indėlio didelėse tyrimų grupėse, todėl reikėjo peržiūrėti veiklos vertinimo / tyrimų vertinimo schemas. Publikacijos vienetų sistemos naudojimas dabar pripažįstamas kaip prastas mokslinių tyrimų kokybės ir produktyvumo vertinimo ir akademikų atrankos bei skatinimo pavyzdys.

Daugiau informacijos:

Pietų Afrikos mokslų akademija (ASSAf). 2019. Dvylika metų: Antroji ASSAf ataskaita apie tyrimų leidybą Pietų Afrikoje ir iš jos. Pretorija, ASSAf.

Mouton, J. and Valentine, A. 2017. Pietų Afrikos autorių straipsnių grobuoniškuose žurnaluose apimtis. Pietų Afrikos mokslo žurnalas, t. 113, Nr.7/8, 1–9 p.

Mouton, J. ir kt. 2019. Pietų Afrikos mokslinių tyrimų publikacijų kokybė. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Nacionalinis pavyzdys: Nigerija

Nigerijos universitetai vertina mokslininkus trijose pagrindinėse srityse: mokymo, mokslinių tyrimų produktyvumo ir bendruomenės paslaugų. Iš jų tyrimų produktyvumas yra didesnis, pabrėžiant publikuotus recenzuojamus mokslinius straipsnius ir atsižvelgiant į autorių skaičių ir vaidmenis (pirmoji autorystė ir (arba) atitinkama autorystė) šiuose leidiniuose. Siekdami tapti konkurencingesniais pasauliniu mastu, dauguma universitetų daugiau dėmesio skiria žurnalams, indeksuojamiems pagal tarptautinį mokslinį indeksavimą arba SCOPUS, kad daugiau dėmesio būtų skiriama kokybei ir tarptautiniam bendradarbiavimui; ir naudoti straipsnių procentą šiuose žurnaluose kaip skatinimo kriterijus.

Apgailėtina to pasekmė yra ta, kad daugeliui mokslininkų, ypač humanitarinių mokslų, trūksta tinkamo finansavimo ir (arba) pajėgumų publikuoti šiuose žurnaluose. Vietoj to, jie skelbia daugiau apžvalginių, o ne mokslinių straipsnių arba jaučiasi priversti įtraukti įtakingus vyresnius kolegas kaip bendraautorius dėl jų finansinio, o ne intelektualinio indėlio. Daugėja plagijavimo, kaip ir grobuoniškos leidybos. Tačiau bendras pasaulinis Nigerijos universitetų reitingas išaugo, todėl vyriausybę ir finansavimo agentūras tenkino ir yra vertinamas kaip sėkmingas. Nigerija šiuo atžvilgiu nėra vienintelė.

Nigerijos mokslų akademija atkūrė savo recenzuojamą žurnalą kaip pavyzdinį žurnalą, kuriame akademikai gali publikuoti (šiuo metu nemokamai) ir būti gerai vertinami savo institucijų.

Regione dominuoja labai konkurencingos, kiekybiniais rodikliais pagrįstos vertinimo sistemos, anglofoniškos šalys paprastai formuoja vertinimo sistemas, o kitos šalys seka jų pavyzdžiu. Pavyzdžiui, Australijoje yra konkurencinga finansavimo sistema, pagrįsta bibliometrija ir universitetų reitingais: „net tvarios plėtros tikslai paverčiami veiklos rodikliais“. Panašūs iššūkiai egzistuoja Malaizijoje ir Tailande, o kitose ASEAN šalyse tikėtina. Svarbi išimtis yra Kinija, kurioje vyriausybė atlieka svarbų vaidmenį kuriant didelius sisteminius pokyčius ir kurie gali turėti didelių pasekmių pasauliniu mastu (žr. teksto laukelį).

Džiugina tai, kad regiono mokslininkų bendruomenė vis labiau supranta ir nerimauja dėl dabartinių tyrimų vertinimo sistemų ribų ir jų grėsmės mokslinių tyrimų vientisumui. Nors ECR, įskaitant Nacionalines jaunųjų akademijas ir ASEAN jaunųjų mokslininkų tinklą, kartu su paprastų žmonių judėjimais vis labiau įsitraukia į šią problemą, jiems sunku būti išgirstiems. Vyriausybės ir finansuojančios bendruomenės, įskaitant universitetų vadovus, iš esmės nedalyvauja diskusijose: jos teikia svarbą kiekybiniams rodikliams, bet neįvertina pasekmių tyrimams. Iš tiesų, konsultantai praneša, kad pridedami daugiau kiekybinių kriterijų, nes institucijos ir mokslininkai pradeda žaisti su sistema, kurstydami netinkamą mokslinių tyrimų elgesį.

Tačiau yra didelių pokyčių galimybių, kaip parodyta toliau pateiktuose teksto laukeliuose.

Nacionalinis pavyzdys: Kinija

Dabar labiausiai mokslinių tyrimų šalis pasaulyje (Tollefsonas, 2018 m; Statista, 2019), o antra pagal investicijas į mokslinius tyrimus (EBPO, 2020 m), tai, kas vyksta Kinijoje, gali sukelti realius sisteminius pokyčius. Nauja valstybės lygmens politika siekiama atkurti mokslinių tyrimų „mokslinę dvasią, inovacijų kokybę ir paslaugų indėlį“ ir „skatinti universitetų grįžimą prie pradinių akademinių tikslų“DAUGIAUSIA, 2020 m). Web of Science rodikliai nebebus vyraujantis veiksnys priimant vertinimo ar finansavimo sprendimus, taip pat publikacijų ir JIF skaičius. Bus skatinamos publikacijos aukštos kokybės Kinijos žurnaluose ir remiama jų plėtra. Vertinimo grupėse ieškoma „reprezentatyvių publikacijų“ – 5–10 pasirinkimo darbų, o ne baigtinių sąrašų, kartu su kriterijais, pagal kuriuos įvertinamas tyrimų indėlis sprendžiant svarbius mokslinius klausimus, suteikiant naujų mokslo žinių arba diegiant naujoves ir tikrą pažangą. tam tikroje srityje.

Kurdama mokslinių tyrimų kokybės ir kompetencijos vertinimo sistemą, labiau pritaikytą jos pačios poreikiams, didžiausia Kinijos fundamentinių tyrimų finansavimo agentūra – Kinijos nacionalinis gamtos mokslų fondas (NSFC) – nuo ​​2018 m. vykdė sistemingas reformas, siekdamas atspindėti mokslo pokyčius: kintančius pasaulinius pokyčius. mokslo kraštovaizdžiai, tarpdiscipliniškumo svarba, taikomųjų ir fundamentinių tyrimų derinys bei mokslinių tyrimų ir inovacijų sąveika (Manfredas Horvatas, 2018 m), pereinant nuo bibliometrijos prie sistemos, kuri sustiprina vietinį Kinijos tyrimų svarbą (Zhang ir Sivertsen, 2020 m). Ji patobulino savo pasiūlymų vertinimo tarpusavio peržiūros sistemą, kad geriau atitiktų smalsumo skatinamus trikdančius mokslinius tyrimus, aktualias problemas mokslinių tyrimų ribose, puikų mokslą, taikomą ekonominiams ir socialiniams poreikiams, ir tarpdisciplininius tyrimus, sprendžiančius didžiulius iššūkius. 2021 m. 85 % pasiūlymų buvo pateikti ir peržiūrėti naudojant šias kategorijas. Neseniai, 2022 m. lapkritį, buvo paskelbtas dvejų metų bandomasis mokslo ir technologijų talentų vertinimo reformos planas, kuriame dalyvauja aštuonios ministerijos, dvylika tyrimų institutų, devyni universitetai ir šešios vietos valdžios institucijos. Jo tikslas bus ištirti mokslo ir technologijų talentų, dirbančių įvairiose inovacijų sistemos dalyse, vertinimo rodiklius ir metodus.

Subregioninis pavyzdys: Australija ir Naujoji Zelandija

Tiek Australija, tiek Naujoji Zelandija šiuo metu yra svarbiose sandūrose. Australijoje vienu metu vykstančios Australijos mokslinių tyrimų tarybos, Australijos mokslinių tyrimų meistriškumo ir auksinės atviros prieigos derybų peržiūros kartu suteikia galimybę (Rossas, 2022 m).

Po viešų konsultacijų dėl mokslo finansavimo ateities Naujoji Zelandija kuria naują sisteminė programa savo nacionalinės mokslinių tyrimų ir inovacijų sistemos ateičiai. Tiek Australija, tiek Naujoji Zelandija prisidėjo prie savo vietinių tyrimų grupių metrikos sistemos kūrimo.PRIEŽIŪROS principai).

Nacionalinis pavyzdys: Indija

Mokslo ir technologijų departamento Politikos tyrimų centras (DST-CPR) atliko naujausius tyrimus apie tyrimų vertinimą ir jų reformą Indijoje, vedė seminarus su pagrindinėmis suinteresuotosiomis šalimis (nacionalinėmis finansavimo agentūromis, mokslinių tyrimų institucijomis ir akademijomis), interviu ir apklausas. Nustatyta, kad nors universitetai ir daugelis nacionalinei politikai svarbių institucijų (pvz., žemės ūkio) daugiausia dėmesio skiria kiekybiniams rodikliams, kai kurios finansavimo agentūros ir institucijos, pvz., Indijos technologijos institutai, taip pat ėmėsi kokybinių priemonių. Šis kokybiškesnis aukščiausio lygio institucijų požiūris jau padeda nukreipti daugiau lėšų į nacionalinių prioritetų mokslinius tyrimus, nors dar per anksti pasakyti, ar jis turi kiekybinį poveikį mokslinių tyrimų kokybei ir poveikiui.

Pagrindinis vertinimo etalonas yra tarpusavio vertinimas, pagrįstas ekspertų komiteto nuomone, tačiau tik po pirminio paraiškų patikrinimo, remiantis vien kiekybiniais rodikliais. Su šiais komitetais taip pat susiduriama su pagrindiniais iššūkiais: atviro mokslo praktikos įvairovės ir supratimo trūkumas, mažai atsižvelgiama į mokslinių tyrimų poveikį visuomenei, prasti pajėgumai ir šališkumas. Šios problemos ir vertinimo metodikos apskritai yra menkai suprantamos, o gairių ir literatūros šia tema trūksta.

Nepaisant to, vis labiau suvokiama būtinybė reformuoti mokslinių tyrimų vertinimą. Indijos nacionalinė jaunųjų mokslų akademija, finansuojama iš DORA bendruomenės dalyvavimo dotacijos, bendradarbiauja su Indijos mokslo institutu (IISc) ir DST-CPR, kad ištirtų būdus, kaip būtų galima pagerinti tyrimų vertinimą – jų svarstymai buvo pasidalinti su pagrindinėmis suinteresuotosiomis šalimis. siekiant paskatinti nacionalinį pokalbį apie būtinybę reformuoti ir galiausiai pakeisti Indijos mokslinių tyrimų kultūrą, kad jos moksliniai tyrimai būtų novatoriškesni ir (arba) visuomenei aktualesni. DST-CPR tikisi sukurti mokslinių tyrimų kompetencijos sistemą, kuri galėtų būti integruota į nacionalinę institucijų reitingavimo sistemą.

Daugiau informacijos:

Battacharjee, S. 2022 m. Ar tai, kaip Indija vertina savo tyrimus, atlieka savo darbą? – Vielos mokslas

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. ir Koley, M. 2022. Tyrimų vertinimas Indijoje: kas turėtų likti, kas gali būti geriau? DST-CPR, IISc.

Nacionalinis pavyzdys: Japonija

Mokslinių tyrimų vertinimo protokolai Japonijoje yra labai decentralizuoti: nors yra „Nacionalinės mokslinių tyrimų ir plėtros vertinimo gairės“, kurias išleido ministrų kabineto Mokslo, technologijų ir inovacijų taryba, Švietimo, kultūros, sporto, mokslo ir technologijų ministerija (MEXT) ir kt. ministerijos taip pat parengė savo gaires. Be to, universitetai ir mokslinių tyrimų institutai turi savo mokslinių tyrimų ir tyrėjų tyrimų vertinimo sistemas, kurios, kaip ir daugelyje pasaulio šalių, yra susietos su institucijų veikla ir biudžeto paskirstymu.

Didėja susirūpinimas dėl per didelio pasitikėjimo kiekybiniu vertinimu. Reaguodama į tai, Japonijos mokslo taryba parengė rekomendaciją dėl tyrimų vertinimo Japonijoje ateities (2022) ragina mažiau akcentuoti kiekybines ir daugiau kokybines priemones, labiau pripažinti mokslinių tyrimų įvairovę ir atsakomybę vertinant mokslinius tyrimus bei stebėti tarptautines tendencijas reformuojant mokslinių tyrimų vertinimo praktiką. Galiausiai, mokslinių tyrimų interesai ir skatinimas turėtų būti tyrimų vertinimo ir visų pastangų siekiant išvengti nuovargio, demotyvacijos ir pernelyg didelio spaudimo tyrėjams pagrindas.

MEXT atlikta apklausa apie vertinimo rodiklius atskleidė, kad JIF yra vienas iš daugelio rodiklių ir todėl neturėjo didelio poveikio Japonijos tyrimams, nors tai priklauso nuo disciplinos: pavyzdžiui, JIF naudojimas yra didesnis medicinos moksluose. o ne tokia tradicinė mokslinių tyrimų veikla, kaip atvirieji duomenys, rečiau bus vertinama.

Daugiau informacijos: REKOMENDACIJA – Mokslinių tyrimų vertinimas siekiant mokslo pažangos: pageidaujamo tyrimų vertinimo iššūkiai ir perspektyvos (scj.go.jp)

Apibendrinant galima teigti, kad kai kuriuose regionuose, šalyse ir institucijose vis labiau skatinama mokslinių tyrimų vertinimo reforma. Čia pateikiami pavyzdžiai: reformos visoje šalyje, panašiai mąstančių institucijų, siekiančių pokyčių, konsorciumų ar koalicijų kūrimas, konkrečių sektorių taikymas / valdymas ir intervencijos, skirtos pašalinti netinkamas paskatas ir elgesį.

Tai dar nėra nuoseklus ir įtraukus pasaulinis pokalbis, taip pat nebūtinai atvirai dalijamasi praktika ir įžvalgomis. Kai kurie GYA, IAP ir ISC nariai jau aktyviai dirba šioje erdvėje ir būtų galima rasti galimybių, kurios padėtų jiems dalytis savo mokymusi ir gerąja patirtimi tarpusavyje ir su platesne naryste. Vėliau 2023 m. Mokslinių tyrimų instituto (RoRI) pradėta pasaulinė atsakingų tyrimų vertinimo observatorija (AGORRA) bus dar viena platforma dalytis mokymusi, lyginamajai nacionalinių ir tarptautinių reformų sistemų analizei ir paspartinti dviejų keistis geromis idėjomis ir išbandyti šias sistemas.

Šiame dokumente išdėstyti pagrindiniai mokslinių tyrimų vertinimo reformos varikliai, galimybės ir iššūkiai bei surinkti iliustruojančių pokyčių, vykstančių pasauliniu, regioniniu, nacionaliniu ir instituciniu lygmenimis, pavyzdžiai. To tikslas – sutelkti GYA, IAP ir ISC bei atitinkamus jų narius, kaip svarbias pasaulinės mokslinių tyrimų ekosistemos dalis.

Remiantis pastarojo dešimtmečio moksline literatūra ir propagavimo darbu, daromos penkios pagrindinės išvados.

1. Aišku ir neatidėliotina būtinybė permąstyti, kaip vertinami tiriamieji asmenys, institucijos ir rezultatai. Mokslinių tyrimų vientisumo ir kokybės palaikymas, įvairaus, visa apimančio ir nediskriminacinio mokslo didinimas ir mokslo optimizavimas pasaulinei viešajai gėrybei yra pagrindiniai veiksniai, nustatyti greitai kintančio pasaulio kontekste.

2. Mokslinių tyrimų užsakymo, finansavimo, vykdymo ir informavimo būdas sparčiai vystosi. Judėjimas į misiją ir tarpdisciplininį mokslą, atviras mokslo sistemas, besivystančius tarpusavio peržiūros modelius, dirbtinio intelekto naudojimą ir mašininį mokymąsi bei spartus socialinės žiniasklaidos plitimas keičia tradicinius tyrimų atlikimo ir komunikacijos būdus, todėl reikia naujo mąstymo apie tyrimų vertinimo sistemas. ir metrika bei tarpusavio peržiūros procesai, kuriais ji grindžiama. Reikia daugiau ir skubių tyrimų, kad šios sistemos būtų patikimos ateityje.

3. Būtina sukurti labiau subalansuotas tyrimų vertinimo sistemas su kiekybiniais ir kokybiniais rodikliais, vertinančiais įvairias mokslinių tyrimų rezultatų, procesų ir veiklos formas. Tačiau teigti, kad kokybiniai tarpusavio peržiūros procesai yra bent jau tokie pat svarbūs kaip bibliometrija, nėra paprasta, o dar labiau apsunkina tai, kad įvairios pasaulio dalys yra skirtinguose vertinimo sistemų kūrimo etapuose: kai kuriose šalyse diskusijos dėl mokslinių tyrimų vertinimo reformos yra gana pažengusios, kitose jos atsiranda arba jų nėra.

4. Norint sutelkti pagrindines suinteresuotųjų šalių bendruomenes kurti ir įgyvendinti nuoseklius mokslinių tyrimų vertinimo ir finansavimo būdus, būtina suderinta ir tikrai pasaulinė ir įtrauki iniciatyva; mokytis vieni iš kitų ir iš kitų sektorių (ypač mokslinių tyrimų finansuotojų ir plėtros agentūrų). Kolektyviniai, visa apimantys veiksmai siekiant transformuojančių pokyčių turės pripažinti tarpusavio ryšį, o ne internacionalizavimą ar universalizavimą, ty atsižvelgti į kontekstą, suvokti skirtingus iššūkius, su kuriais susiduria skirtingos pasaulio dalys, ir turtingą mokslinių tyrimų ekosistemos nevienalytiškumą, tuo pačiu užtikrinant pakankamą homogeniškumą, kad būtų sudarytos sąlygos suderinamosioms mokslinių tyrimų ir finansavimo sistemoms ir mokslininkų mobilumui, kad būtų kuo mažiau skirtumų ir susiskaidymo. Dalinis, išskirtinis pokalbis gali dar labiau pakenkti ir nukentėti tuos, kurie istoriškai buvo atskirti.

5. Pokyčiai reikalingi visais lygmenimis – pasauliniu, regioniniu, nacionaliniu ir instituciniu – nes metrikos kaskados per visą tyrimų ekosistemą ir visi šie lygmenys yra tarpusavyje susiję. Visos suinteresuotosios šalys turi atlikti savo vaidmenį kaip partneriai, o ne priešai, įskaitant finansuotojus, universitetus, universitetų ir mokslinių tyrimų institutų asociacijas, tarpvyriausybines organizacijas (IGO), vyriausybes ir vyriausybių tinklus, akademijas, mokslo politikos formuotojus, mokslinių tyrimų ir inovacijų vadovus ir pavienius mokslininkus. GYA, IAP ir ISC narystė bendrai apima didelę šio turtingo kraštovaizdžio dalį (1 pav., C priedas).

1 pav. Suinteresuotųjų šalių žemėlapis, susijęs su GYA, IAP ir ISC naryste (Spustelėkite norėdami pamatyti)

Tokių organizacijų, kaip GYA, IAP ir ISC, susibūrimo galia gali padėti sutelkti požiūrių ir patirties įvairovę daugelyje mokslinių tyrimų ekosistemos: eksperimentuoti su esamomis ir naujomis iniciatyvomis, mokytis iš jų ir jas tęsti. Labai svarbu, kad jie galėtų susisiekti su pagrindinėmis suinteresuotosiomis šalimis, skatinančiomis pokyčius – vyriausybėmis, mokslinių tyrimų finansuotojais ir universitetais bei gyvybiškai svarbiais pasauliniais judėjimais, tokiais kaip DORA, kad padėtų sutelkti veikėjų architektūrą. Kartu jie gali tarnauti kaip:

● advokatai – informuotumo apie tyrimų vertinimo debatus, pokyčius ir reformas didinimas, pripažįstant, kad jų nariai yra (i) jaunesniųjų kolegų mentoriai ir prižiūrėtojai, (ii) aukštųjų mokyklų vadovai, (iii) finansavimo ir leidybos valdymo organų valdybos nariai ir ( iv) politikos formuotojų patarėjai;

● novatoriai – tiria įvairius metodus, kaip vertinti fundamentinius ir taikomuosius mokslinius tyrimus visa apimančiais ir naujoviškais būdais;

● pavyzdžiai – keičia savo institucinę kultūrą – atnaujina savo narystę, apdovanojimus, leidybos ir konferencijų praktiką bei rodo pavyzdį;

● vertintojai – naudojasi narių vaidmeniu tiek instituciniu, tiek individualiu lygmeniu, kurių veikla yra vertinti tyrėjus, mokslinius tyrimus ir institucijas, taip pat tuos, kurie atlieka leidybos, redakcinės ir tarpusavio peržiūros funkcijas;

● finansuotojai – remdamiesi finansavimo agentūromis, atstovaujamomis ISC, ir nariais, kurie valdo ir skirsto dideles nacionalines ir tarptautines dotacijas;

● bendradarbiai – remia jau sukurtas reformų kampanijas, pvz., DORA, ES CoARA ir UNESCO atviro mokslo įsipareigojimus.

Šio dokumento autoriai skatina GYA, IAP ir ISC bei į juos panašias organizacijas dalyvauti šiais būdais:

1 VEIKSMAS: Dalinkitės mokymusi ir gerąja patirtimi

Šiame dokumente pateikiami intervencijų ir naujovių pavyzdžiai iš viso pasaulio. Erdvė dalytis patirtimi ir sukurti stiprią ir įtraukią „norinčiųjų koaliciją“ yra gyvybiškai svarbi.

1.1: Suteikite platformą nariams, kurie jau aktyviai dirba šioje erdvėje, kad galėtų dalytis savo mokymusi ir užmegzti strateginius ryšius, ypač nacionaliniu lygiu. Norėdami padėti užpildyti, naudokite šiuos pavyzdžius DORA prietaisų skydelis [106] mokymasis ir geroji praktika.

1.2: Apžiūrėkite ir sudarykite narių vadovaujamus pokyčius, susijusius su mokslinių tyrimų vertinimo reforma, siekiant nustatyti institucinius, nacionalinius ir regioninius metodus ir rasti gerą patirtį bei dalytis ja. Sušaukti tuos, kurie jau vadovavo / įsitraukė į pagrindines nacionalines ir tarptautines iniciatyvas, kad visos narystės būtų propaguojamos ir mokomasi.

2 VEIKSMAS: vadovaukitės pavyzdžiu

GYA, IAP ir ISC narystė apima daugelį tyrimų ekosistemos dalių, ir kiekviena gali atlikti svarbų vaidmenį formuojant, kaip atrodo mokslininko sėkmė.

2.1: Perėjimas prie pažangesnių tyrimų vertinimo metodikų visoje plačioje narių grupėje. Rodykite pavyzdį ir padėkite keisti tyrimų vertinimo kultūrą per savo narystės filosofiją ir praktiką, remdamiesi mokymusi iš DORA ir GRC. Akademijos, kaip tradiciškai elitinės organizacijos, čia turi atlikti ypatingą vaidmenį – jos turėtų būti skatinamos išplėsti savo rinkimų ir atrankos kriterijus, kad atspindėtų platesnį ir daugialypesnį supratimą apie mokslinių tyrimų kokybę ir poveikį, kad atspindėtų šį pliuralizmą (ir didesnę įtrauktį ir įvairovę).

2.2: Skatinti regioninį bendradarbiavimą ir lyderystę. Skatinkite regioninius GYA narių ir nacionalinių jaunųjų akademijų tinklus, IAP regioninius akademijų tinklus ir ISC regioninius informacijos centrus apsvarstyti galimybę pamėgdžioti ALLEA valdybos iniciatyva, pritaikyti jų pačių kontekstui.

3 VEIKSMAS. Sukurkite strategines partnerystes su pagrindinėmis rinkėjų grupėmis.

Trys pagrindiniai veikėjai, atsakingi už mokslinių tyrimų vertinimo reformos skatinimą, yra vyriausybės, mokslinių tyrimų finansuotojai ir universitetai. GYA, IAP ir ISC gali padėti mokslinių tyrimų bendruomenei imtis reformų ir panaikinti šiuo metu egzistuojančius skirtumus.

3.1: Bendradarbiaukite su GRC vadovybe, kad ištirtumėte darbo kartu būdus – iš esmės paskatintumėte narius ir atitinkamus GRC nacionalinius atstovus ištirti, kaip galėtų dalyvauti jų mokslinių tyrimų bendruomenės.

3.2: Bendrauti su pasauliniais ir regioniniais universitetų tinklais, tokiais kaip Tarptautine universitetų asociacija (IAU), kuriant naujas mokymo priemones mokslo bendruomenei; naudoti AMI vadovavimą kolektyvinėje GYA, IAP ir ISC narystėje kaip advokatų.

3.3: Sujunkite institucijas nares DORA dotacijų šalyse (Argentinoje, Australijoje, Brazilijoje, Kolumbijoje, Indijoje, Japonijoje, Nyderlanduose, Ugandoje ir Venesueloje) su DORA dotacijų lyderiais, kad galėtumėte dalytis idėjomis ir potencialiai išplėsti šias vietines iniciatyvas.

3.4: Užmegzti ryšius su pirmaujančiomis tarptautinėmis plėtros agentūromis, kurios jau taiko naujoviškas ir veiksmingas mokslinių tyrimų vertinimo strategijas mažas ir vidutines pajamas gaunančiose šalyse ir mažiausiai išsivysčiusiose šalyse.

3.5. Bendradarbiauti su UNESCO, siekiant padėti formuoti nacionalinius mokslinių tyrimų vertinimo įsipareigojimus pagal UNESCO Rekomendacija dėl atvirojo mokslo.

4 VEIKSMAS: Teikti intelektualų vadovavimą būsimam tyrimų vertinimui.

Būtina sutelkti dėmesį į konkrečius ir neatidėliotinus mokslinių tyrimų vertinimo reformos uždavinius. GYA, IAP ir ISC bei panašūs į juos tarptautiniai tinklai gali remtis savo atitinkamomis sušaukimo galiomis, savo narių intelektualiniu svoriu ir įtaka bei ryšiais su pagrindinėmis rinkimų apygardomis.

4.1: kartu su pagrindinėmis apygardomis surengti įvairių suinteresuotųjų šalių diskusijų forumus arba „Transformacijos laboratorijas“, kad būtų permąstyta ir įgyvendinta mokslinių tyrimų vertinimo reforma – įtraukti aukštųjų mokyklų ir jų pasaulinių (pvz., IAU ir IARU) bei regioninių tinklų (pvz., LERU ir AAU) lyderius [107 ]), mokslinių tyrimų finansuotojai (įskaitant GRC nacionalinius atstovus), tarptautinės plėtros agentūros ir pirmaujantys leidėjai ir kt. Šiam darbui finansuoti pridėkite naujų arba panaudokite esamus išteklius (kai kurias preliminarias idėjas žr. D priede).

4.2: Parengti naują tyrimą apie svarbų būsimos mokslinių tyrimų vertinimo plėtros aspektą, pvz., 1) technologijų pažangos poveikį mokslinių tyrimų vertinimui ir tarpusavio peržiūrai (įskaitant naudojimą ir piktnaudžiavimą), ir kaip jie galėtų vystytis ateityje ir ( 2) platesnė tarpusavio vertinimo sistemos reforma (skaidrumo, atvirumo, pajėgumų, pripažinimo ir mokymo požiūriu). Abu klausimai yra neatsiejami nuo žinių patikimumo ir mokslo patikimumo.

Visų šių pastangų pagrindas turėtų būti trys pagrindiniai dalykai:

• Mokslinių tyrimų ir tyrėjų vertinimo kriterijų išplėtimas už tradicinių akademinių metrikų ribų, įtraukiant įvairias mokslinių tyrimų rezultatų ir funkcijų formas, įskaitant kiekybinius kriterijus, kuriais galima įvertinti socialinį mokslinių tyrimų poveikį.

• Skatinti aukštųjų mokyklų vadovus ir mokslinių tyrimų finansuotojus priimti ir puoselėti šiuos naujus vertinimo kriterijus kaip mokslinių tyrimų kokybės ir vertės matą.

• Darbas su šiais lyderiais naujų formų informuotumo didinimo ir būsimų mokslininkų kartų mokymų srityje, siekiant suteikti jiems reikiamų įgūdžių bendrauti ir veiksmingai bendradarbiauti su politikos formuotojais, visuomene ir kitais pagrindiniais rinkėjais; ir skatinti įvairovę bei įtrauktį į mokslinių tyrimų įmonę.

Šio dokumento autoriai daro išvadą, kad tinklai, tokie kaip GYA, IAP ir ISC, kartu su kitomis pagrindinėmis apygardomis ir jas remiantys, gali padėti sukurti nuoseklią, dalyvaujamąją, pasaulinę iniciatyvą sutelkti mokslinių tyrimų bendruomenes, universitetus ir kitas aukštąsias mokyklas pagal šią darbotvarkę, ir apsvarstyti. kaip pritaikyti naujus mokslinių tyrimų vertinimo ir finansavimo būdus, kad jie būtų veiksmingesni, teisingesni, įtraukesni ir paveikesni.

parsisiųsti

Šį dokumentą parašė GYA-IAP-ISC taikymo srities grupės nariai, kurie su pertraukomis dirbo nuo 2021 m. gegužės mėn. iki 2023 m. vasario mėn. (daugiau informacijos A priede):

• Sarah de Rijcke (pirmininkė, Nyderlandai)

• Clemencia Cosentino (JAV)

• Robin Crewe (Pietų Afrika)

• Carlo D'Ippoliti (Italija)

• Shaheen Motala-Timol (Mauricijus)

• Noorsaadah Binti A Rahman (Malaizija)

• Laura Rovelli (Argentina)

• David Vaux (Australija)

• Yao Yupeng (Kinija)

Darbo grupė dėkoja Tracey Elliott (ISC vyresniajai konsultantei) už jos koordinavimo ir projektų rengimo darbą. Taip pat dėkojame Alex Rushforth (Mokslo ir technologijų studijų centras (CWTS), Leideno universitetas, Nyderlandai) ir Sarah Moore (ISC) už papildomą indėlį ir paramą.

Darbo grupė taip pat yra dėkinga visiems, su kuriais buvo konsultuotasi rengiant šį darbą (B priedas), kurie skyrė savo laiko ir pasidalino savo požiūriu į tyrimų vertinimą atitinkamose šalyse ir regionuose, taip pat GYA paskirtiems recenzentams, IAP ir ISC:

• Karina Batthyány, Lotynų Amerikos socialinių mokslų tarybos (CLACSO) vykdomoji direktorė (Urugvajus)

• Richard Catlow, Londono universiteto koledžo (JK) tyrimų profesorius

• Sibel Eker, Radbound universiteto (Nyderlandai) docentė

• Encieh Erfani, Tarptautinio teorinės fizikos centro (Iranas, Italija) mokslinis tyrėjas

• Motoko Kotani, Riken (Japonija) vykdomasis viceprezidentas

• Pradeep Kumar, Witwatersrand universiteto (Pietų Afrika) profesorius ir vyresnysis mokslo darbuotojas

• Boon Han Lim, Tinku Abdul Rahmano universiteto (UTAR) docentas (Malaizija)

• Priscilla Kolibea Mante, Kwame Nkrumah mokslo ir technologijų universiteto (KNUST) vyresnioji dėstytoja (Gana)

• Alma Hernández-Mondragón, Meksikos mokslo pažangos asociacijos (AMEXAC) prezidentė (Meksika)

• Khatijah Mohamad Yusoff, Putros Malaizijos universiteto (UPM) vyresnysis profesorius (Malaizija)

1. UNESCO. 2021. UNESCO mokslo ataskaita: lenktynės su pažangesnio vystymosi laiku (1 skyrius). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Karališkoji draugija. (2012). Mokslas kaip atvira įmonė. Karališkosios draugijos mokslo politikos centras. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. and Larivière, V. 2014. Bibliometrijos naudojimas vertinant tyrimus: galimybės, apribojimai ir neigiamas poveikis. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (red.), Incentives and Performance, Cham, Springer, p. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW ir Glasziou, P. 2014 m. Biomedicininiai tyrimai: vertės didinimas, atliekų mažinimas. The Lancet, Vol. 383, Nr.9912, 101–104 p.

5. Bol, T., de Vaan, M. ir van de Rijt, A. 2018. Mato efektas mokslo finansavime. Proceedings of the National Academy of Sciences of the United States of the United States, Vol. 115, Nr.19, 4887–4890 p.

6. Tarptautinė mokslo taryba. 2021 m. Mokslo įrašo atidarymas: mokslinės leidybos darbas mokslui skaitmeninėje eroje. Paryžius, Prancūzija, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. and de Ricke, S. 2017. Mąstymas su rodikliais. Akademinės veiklos rodiklių episteminio poveikio gyvybės moksluose tyrimas. Tyrimo įvertinimas, t. 26, Nr.3, 157–168 p.

8. Ansede, M. 2023. Vienas iš labiausiai cituojamų pasaulio mokslininkų Rafaelis Luque nušalintas 13 metų be atlyginimo. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Kova su grobuoniškais akademiniais žurnalais ir konferencijomis. Triestas, Italija, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM and Negra, D. 2022. Grobuoniškų akademinių žurnalų ir konferencijų paplitimo ir poveikio suvokimas: pasaulinė mokslininkų apklausa. Learned Publishing, t. 3, Nr.4, 516–528 p.

11. Collyer, TA 2019. „Saliamio pjaustymas“ padeda siekti karjeros, bet kenkia mokslui. Nature Human Behaviour, Vol. 3, 1005–1006 p.

12. Abad-García, MF 2019. Plagiatas ir grobuoniški žurnalai: grėsmė moksliniam vientisumui. Anales De Pediatría (leidimas anglų kalba), t. 90, Nr.1, 57.e1–57.e8 p.

13. Omobowale, AO, Akanle, O., Adeniran, AI and Adegboyega, K. 2013. Periferinė stipendija ir užsienio mokamos leidybos kontekstas Nigerijoje. Dabartinė sociologija, t. 62, Nr.5, 666–684 p.

14. Ordway, D.-M. 2021 m. Akademiniai žurnalai, žurnalistai įamžina dezinformaciją tvarkydami tyrimų atsiėmimus. Žurnalisto šaltinis. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. ir Wilsdon, J. 2020. Kintantis finansuotojų vaidmuo atsakingame mokslinių tyrimų vertinime: pažanga, kliūtys ir Kelias į priekį. Londonas, JK, tyrimų institutas.

16. Pasaulinė šiaurė paprastai reiškia industrializuotą arba išsivysčiusią ekonomiką, kaip apibrėžė Jungtinės Tautos (2021 m.), o Pasauliniai pietai reiškia neseniai industrializuotą arba industrializavimo ar besivystančią ekonomiką, kuri dažnai yra dabartinė. ar buvę kolonializmo subjektai.

17. InterAcademy partnerystė. 12 sesija: Didesnės įtraukties laimėjimas: įvairovės ir akademinės kultūros ryšys. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Mokslinės kompetencijos darbo grupė. Berlynas, Vokietija, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Išlaisvinkite mokslą: tvarumo misijų vykdymas. Paryžius, Prancūzija, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Ištrauka iš Peter Gluckmano kalba „Endless Frontier“ simpoziume. Paryžius, Prancūzija. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. and Pinto, D. 2021. Tarpdisciplininio tyrimo planavimo ir vertinimo įrankis. Integravimo ir įgyvendinimo įžvalgos. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR ir Zornes, DA 2016. Tyrimo kokybės apibrėžimas ir vertinimas tarpdisciplininiame kontekste. Tyrimo įvertinimas, t. 25, Nr.1, 1–17 p.

23. Wilsdon, J. ir kt. 2015. Metrikos banga: Nepriklausomos metrikų vaidmens tyrimų vertinime ir valdyme apžvalgos ataskaita. HEFCE.

24. UNESCO. UNESCO rekomendacija dėl atviro mokslo. Paryžius, Prancūzija, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. UNESCO šaltinis atskleidė, kad šis darbas šiuo metu yra sulaikytas, nes diskusijose dominuoja tik keli asmenys ir nebūtinai jos atsiliepia daugeliui: prieš rengiant rekomendacijas turi vykti platus dialogas.

26. Barroga, E. 2020. Inovatyvios tarpusavio peržiūros strategijos. Korėjos medicinos mokslo žurnalas, t. 35, Nr.20, e138 b.l.

27. Woods, HB ir kt. 2022. Mokslinės publikacijos tarpusavio peržiūros naujovės: metasantrauka. „SocArXiv“, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB and Brumberg, J. 2022. Naujoviška tarpusavio peržiūra, mokslinės komunikacijos pertvarkymas. „SocArXiv“, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. ir Wilsdon, J. 2022. Geroji mokslinių tyrimų finansuojančių organizacijų mašininio mokymosi ir dirbtinio intelekto naudojimo praktika: seminarų serijos įžvalgos. Londonas, JK, tyrimų institutas. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. and Jones, E. 2020. Tyrimai 4.0 Automatizacijos amžiaus tyrimai. Londonas, JK, DEMOS.

31. Baker, M. 2015. Išmanioji programinė įranga nustato statistines klaidas psichologijos darbuose. Gamta, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Tyrėjai, naudodami AI, analizuodami tarpusavio peržiūrą. Gamta 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. and Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. AI pagrįsti citatų vertinimo įrankiai: geras, blogas ar negražus? Bibliomagas. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. ir Gipp, B. 2020. Akademinio plagiato aptikimas: sisteminė literatūros apžvalga. ACM Computing Surveys, t. 52, Nr.6, 1–42 p.

36. Quach, K. 2022. Leidėjai naudoja dirbtinį intelektą, kad gautų blogų mokslininkų duomenis. Registras. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R and Bockting, C. 2023. ChatGPT: penki mokslinių tyrimų prioritetai. Gamta, t. 614, 224–226 p.

38. Chawla, D. 2022. Ar AI turėtų atlikti vaidmenį vertinant tyrimų kokybę? Gamta, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Dirbtinis intelektas atrenka dotacijų recenzentus Kinijoje. Gamta, t. 569, 316–317 p.

40. Mike, T. 2022. Ar publikuotų akademinių žurnalų straipsnių kokybę galima įvertinti naudojant mašininį mokymąsi? Quantitative Science Studies, t. 3, Nr.1, 208–226 p.

41. Chomsky, N., Roberts, I. ir Watumull, J. 2023. Klaidingas ChatGPT pažadas. „New York Times“. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Išsiaiškinti. 2022 m. Tyrimo vertinimas: kilmė, evoliucija, rezultatai. Išsiaiškinti. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ and Zwitter, A. 2022. Dirbtinio intelekto nusikaltimas: piktavališko AI naudojimo ir piktnaudžiavimo ja apžvalga. IEEE Access, t. 10, 77110–77122 p.

44. Castelvecchi, D. 2019. AI pradininkas: „Piktnaudžiavimo pavojai yra labai realūs“. Gamta, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Akademikų suvokimas apie tyrimų poveikį ir įsitraukimą per sąveiką socialinės žiniasklaidos platformose. Mokymasis, žiniasklaida ir technologijos, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. and Costas, R. 2019. Social media metrics for new research assessment. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (red.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. ir Stirling, A. 2020. Rodiklių projektavimas, siekiant atverti vertinimą. Tyrimo vertinimo įžvalgos. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G ., Hod, O. ir Baul, J. 2022. Grįžti į pagrindus. Halle, Vokietija, Global Young Academy.

49. Jong, L., Franssen, T. ir Pinfield, S. 2021. Mokslinių tyrimų ekosistemos tobulumas: literatūros apžvalga. Londonas, JK, tyrimų institutas.

50. Hatch, A. ir Curry, S. 2020. Tyrimo kultūra: pakeisti tai, kaip vertiname tyrimus, sunku, bet ne neįmanoma. eLife, t. 9, p. e58654.

51. IAP. 2022. Kova su grobuoniškais akademiniais žurnalais ir konferencijomis. Triestas, Italija, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. and Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Gamta, t. 520, 429–431 p.

53. Publonai. 2018. Global State of Peer Review. Londonas, JK, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. and Trinquart, L. 2016. Pasaulinė žurnalų tarpusavio peržiūros našta biomedicininėje literatūroje: stiprus disbalansas kolektyvinėje įmonėje. PLoS ONE, t. 11, Nr. 11, p. e0166387.

55. Forrester, B. 2023. Pavargęs ir perdegęs: „ramus pasitraukimas“ slegia akademinę bendruomenę. Gamta, t. 615, 751–753 p.

56. Hatch, A. ir Curry, S. 2020. Tyrimo kultūra: pakeisti tai, kaip vertiname tyrimus, sunku, bet ne neįmanoma. eLife, t. 9, p. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. ir Dirnagi, U. 2020 m. Kongas Mokslininkų vertinimo principai: mokslinių tyrimų vientisumo skatinimas. PLoS Biology, t. 18, Nr. 7, p. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. and Kerridge, S. 2015. Metric Tide: Nepriklausomos metrikų vaidmens tyrimų vertinime ir valdyme apžvalgos ataskaita. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. ir Wilsdon, J. 2022. Metrinės bangos panaudojimas: JK atsakingo tyrimo vertinimo rodikliai, infrastruktūra ir prioritetai. Londonas, JK, tyrimų institutas.

60. Gamtos redakcija. 2022 m. Remti drąsią Europos atsakingo tyrimų vertinimo viziją. Gamta, t. 607, p. 636.

61. Deklaracija dėl mokslinių tyrimų vertinimo (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. and Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Gamta, t. 520, 429–431 p.

63. Curry, S., Gadd, E. ir Wilsdon, J. 2022. Metrinės bangos panaudojimas: JK atsakingo tyrimo vertinimo rodikliai, infrastruktūra ir prioritetai. Londonas, JK, tyrimų institutas. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. San Francisko deklaracija dėl tyrimų vertinimo. https://sfdora.org/read/

65. DORA. Įrankiai, skirti tobulinti tyrimų vertinimą. DORA. https://sfdora.org/project-tara/

66. DORA. DORA bendruomenės dalyvavimo stipendijos: akademinio vertinimo reformos rėmimas https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Inormos. SCOPE mokslinių tyrimų vertinimo sistema. https://inorms.net/scope-framework-for-research-evaluation/

68. Nenormos. SCOPE sistema. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Tyrimo kokybė plius. Tarptautinis plėtros tyrimų centras. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. ir Grant, L. 2019. Ethical Action in Global Research: A Toolkit. Edinburgas, Škotija, Edinburgo universitetas. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Tarptautinio vystymosi pokyčių teorijos: komunikacija, mokymasis ar atskaitomybė? Azijos fondas. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. ir Dias, SM 2021. Atsakingas tyrimo vertinimas. Pasaulinė mokslinių tyrimų taryba. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Pasaulinė mokslinių tyrimų taryba. GRC atsakingo tyrimo vertinimas. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. ir Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. Londonas, JK, tyrimų institutas. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Pasaulinė mokslinių tyrimų taryba. Atsakinga tyrimų vertinimo darbo grupė. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Mokslinė kompetencija. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. and Williams, K. 2022. Tyrimo vertinimas: kilmė, evoliucija, rezultatai. Mokslinės informacijos institutas. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Išteklių biblioteka. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. ir Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Mokslinių tyrimų vertinimo tobulinimo koalicija (CoARA). https://coara.eu/

81. CoARA. 2022 m. Sutartis dėl reformuojančios mokslinių tyrimų vertinimo. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Gamtos redakcija. 2022 m. Remti drąsią Europos atsakingo tyrimų vertinimo viziją. Gamta, t. 607, p. 636.

83. Atviras ir visuotinis mokslas. OPUS Home – atviro ir visuotinio mokslo (OPUS) projektas. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS Moving Forward to a More Responsible Research Assessment. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Europos mokslinių tyrimų taryba. 2022 m. EMTT Mokslo taryba priima sprendimus dėl 2024 m. kvietimų vertinimo formų ir procesų pakeitimų. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Visos Europos akademijos. 2022 m. ALLEA pareiškimas dėl mokslinių tyrimų vertinimo reformavimo Europos akademijose. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA ir GYA. 2022 m. Bendras pareiškimas dėl ES Tarybos išvadų dėl mokslinių tyrimų vertinimo ir atvirojo mokslo įgyvendinimo. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Kelias į daugiamatę akademinę karjerą – LERU Framework for the Assessment of Researchers. LERU, Liuvenas, Belgija. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Karališkoji draugija. Gyvenimo aprašymas tyrėjams. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Ar pasakojamieji CV pasakoja teisingą istoriją? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Mokslininkai pagal užimtumo sektorių (FTE) 2011–2020 m. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Mokslinio tyrimo vertinimas. Lotynų Amerikos mokslinių tyrimų vertinimo forumo (FOLEC) serija „Lotynų Amerikos ir Karibų jūros regiono mokslinių tyrimų vertinimo transformacijos link“. CLACSO, Buenos Airės, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021 m. Vertinimo sistemų pertvarkymo Lotynų Amerikoje ir Karibų šalyse link. Naujos vertinimo politikos skatinimo priemonės. Lotynų Amerikos tyrimų vertinimo forumo (FOLEC) serija. CLACSO, Buenos Airės, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Į plėtros problemas orientuoto tyrimo vertinimo formos. Lotynų Amerikos ir Karibų jūros šalių nacionalinių mokslo ir technologijų organizacijų bei aukštojo mokslo institucijų praktika ir perspektyvos. FOLEC. CLACSO, Buenos Airės, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO yra socialinių mokslų taryba regione ir pirmaujanti socialiai svarbaus ir atsakingo mokslo čempionė. Lotynų Amerikos mokslinių tyrimų vertinimo forumas (FOLEC) yra regioninė diskusijų ir dalijimosi gerąja patirtimi erdvė, kuri rengia regionines mokslinių tyrimų vertinimo gaires, kurios paremtų šiuos principus. Abu yra stiprūs regiono lyderiai.

96. SGCI. Mokslo dotacijų tarybų iniciatyva (SGCI) Afrikoje į pietus nuo Sacharos. https://sgciafrica.org/

97. SGCI. Tijssen, R. ir Kraemer-Mbula, E. 2017. Politikos trumpas: Perspektyvos dėl mokslinių tyrimų meistriškumo globaliuose pietuose – vertinimas, stebėjimas ir vertinimas besivystančių šalių kontekstuose. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- šalis-kontekstai.pdf

98. Tijssen, R. ir Kraemer-Mbula, E. 2018. Mokslinių tyrimų meistriškumas Afrikoje: politika, suvokimas ir efektyvumas. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. ir Kraemer-Mbula, E. 2018. Mokslinių tyrimų meistriškumas Afrikoje: politika, suvokimas ir efektyvumas. Mokslas ir viešoji politika, t. 45 Nr.3, 392–403 p. https://doi.org/10.1093/scipol/scx074

100. SGCI. Geros praktikos gairės dėl mokslinių tyrimų konkursų kokybės. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. NRF rengia strateginius susitikimus, skirtus mokslinių tyrimų partnerystei Afrikoje plėtoti – Nacionalinis tyrimų fondas

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR ir Zornes, DA 2016. Tyrimo kokybės apibrėžimas ir vertinimas tarpdisciplininiame kontekste, Research Evaluation, Vol. 25, p.: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARINAS. 2020 m. Mokslo technologijų ir inovacijų (STI) metrika – Afrikos tyrimų ir poveikio tinklas (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. ir Feinstein O. 2022. Research Quality Plus (RQ+) – Evaluating Research Diffely. Otava, Tarptautinis plėtros tyrimų centras. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Tarptautinė stebėsenos ir vertinimo akademija

106. DORA. TARA prietaisų skydelis. https://sfdora.org/tara-landing-page/

107. IARU, Tarptautinė tyrimams intensyvių universitetų asociacija; LERU, Europos mokslinių tyrimų universitetų lyga; AAU, Afrikos universitetų asociacija