All’inizio di ottobre si è diffusa la notizia che l’ANVUR, l’agenzia governativa nella quale si accentra la valutazione amministrativa della ricerca italiana, aveva formalmente sottoscritto l’Agreement on Reforming Research Assessment. Come la dichiarazione DORA e il Leiden Manifesto for Research Metrics, questo accordo include fra i suoi punti principali l’emancipazione della valutazione da analitiche commerciali quantitative quali il fattore d’impatto, l’indice H e le classifiche di università ed enti di ricerca, così da concentrare l’attenzione sulla qualità e sulla diversità della ricerca. L’Annex 1 del suo testo, ricapitolando convinzioni ormai diffuse, 1 spiega perché:
I processi di valutazione che si affidano prevalentemente a sistemi di misurazione basati su riviste e pubblicazioni producono notoriamente, a danno della qualità, una cultura del ‘publish or perish’ incapace di riconoscere impostazioni differenti. Il predominio di sistemi di misura angusti fondati su riviste e pubblicazioni, spesso usati impropriamente nella valutazione della ricerca, può disconoscere contributi diversi e può influenzare negativamente la qualità e l’impatto della ricerca stessa. Può, per esempio, esaltare quantità e velocità a scapito di qualità e rigore, far emergere riviste e conferenze predatorie, incoraggiare a pubblicare in riviste ad accesso chiuso e a pagamento per il loro fattore d’impatto elevato anche se sono disponibili alternative ad accesso aperto, indurre a evitare il rischio per non ridurre la possibilità di venir pubblicati, produrre un’eccessiva attenzione alle classifiche a detrimento della collaborazione e far sprecare energie, tempo e denaro a ripetere il già fatto perché gli articoli sui risultati “negativi” rimangono largamente inediti. La valutazione della ricerca dovrebbe promuovere una cultura che riconosca la collaborazione, l’apertura e l’impegno sociale e offra opportunità a una pluralità di talenti.
L’ANVUR ha finora imposto la bibliometria in tutta la sua valutazione: anche per i settori detti “non bibliometrici” chi desidera diventare professore o commissario di concorso deve adeguarsi a valori-soglia quantitativi, basati sul numero di libri, nonché di articoli in riviste genericamente scientifiche e in “di classe A”, determinate tramite liste stilate dall’ANVUR medesima. La sua adesione formale all’accordo sarebbe dunque una notizia non irrilevante, sebbene non comporti la deposizione della spada, per così dire, ma solo l’annuncio della sostituzione della bilancia. Fuor di metafora, la firma promette di cambiare come si valuta ma non chi valuta: l’Anvur, da parte sua, rimane un’agenzia nominata dal governo che sottomette la ricerca italiana a una valutazione amministrativa e centralizzata anziché scientifica e distribuita.
Dovrebbe tuttavia destare stupore che il bando PRIN PNRR 2022 del 14 settembre 2022 richieda dati bibliometrici – obbligatori per fisica, ingegneria e scienze biologiche, e solo se disponibili per scienze umane e sociali – a chi presenta un progetto di ricerca candidandosi come principal investigator.
Si dirà: l’accordo europeo (p. 5) non mette interamente al bando la bibliometria, ma chiede solo di “fondare la valutazione della ricerca principalmente su una valutazione qualitativa in cui è centrale la revisione paritaria, sostenuta da un uso responsabile di indicatori quantitativi”. Però, come si evince dal fac-simile della domanda, aggiornato al 17 ottobre 2022, che gli aspiranti devono compilare, gli indicatori quantitativi richiesti sono tali che difficilmente se ne può immaginare un uso responsabile. Bando e modulistica sono disponibili qui; l’illustrazione qui sotto riproduce quanto si trova alla pagina 5 del fac-simile, nel punto B2.
Salta subito agli occhi che al candidato viene richiesto l’Impact Factor dei suoi articoli, presumibilmente perché si ritiene che questo dato sia utile per valutarlo. Lo stesso inventore dell’IF, Eugene Garfield, raccomandava di non impiegarlo per valutare i ricercatori: com’è ampiamente noto, facilmente intuibile, e riconosciuto perfino da una sentenza del TAR del Lazio, un rapporto che pesa le citazioni complessive annuali degli articoli di una rivista è una misura che riguarda la rivista stessa e non i suoi singoli articoli, alcuni dei quali possono essere citati poco o per nulla.
Il ministero ha pubblicato anche delle FAQ. L’illustrazione qui sopra ne riproduce la parte sulla bibliometria.
A chiarimento di quanto implicito nel fac-simile, il MUR spiega che i fattori d’impatto delle riviste su cui sono usciti gli articoli dei candidati vanno sommati, senza compiere la normalizzazione raccomandata dal sesto punto del Leiden Manifesto for Research Metrics. Il numero di citazioni, tuttavia, varia fra disciplina e disciplina, e con esso il fattore d’impatto delle riviste: se gli IF delle riviste che hanno pubblicato gli articoli vengono semplicemente addizionati, i ricercatori che operano in campi a bassa intensità di citazioni verranno penalizzati a vantaggio di quanti lavorano in ambiti di intensità maggiore. E per mantenere quel pizzico di accidentalità tipico della carriera accademica, il MUR non prescrive di indicare l’IF che la rivista aveva quando l’articolo è stato pubblicato, ma quello attuale o l’ultimo disponibile: così – a proposito di scale oggettive – il valore di un articolo, oltre a dipendere dal suo contenitore e non dal suo contenuto, crescerà e decrescerà nel tempo avvenire con le fluttuazioni del fattore d’impatto della rivista che lo ha pubblicato. Si sta come d’autunno sugli alberi le foglie.
Anche i limiti dell’indice H, qui calcolato sul database proprietario Scopus, che è, in conflitto di interessi, sotto il controllo del più grande oligopolista dell’editoria scientifica commerciale, Elsevier, sono ben noti, tanto che è stato ripudiato dal suo stesso inventore in quanto generatore di conformismo.
La responsabilità del bando, che è uscito prima del suo insediamento, non ricade sul governo attualmente in carica, bensì su quello precedente, detto “dei migliori“. C’è anche una responsabilità dell’ANVUR? La risposta, questa volta, è no.
Sebbene tempestivamente denunciato da “Roars”, pochi si sono accorti che l’articolo 64 comma 3 del decreto-legge 31 maggio 2021 n. 77 ha cambiato, per il periodo della prima applicazione coincidente con la distribuzione dei fondi del PNRR, il nome e le modalità di composizione del Comitato Nazionale dei Garanti della Ricerca (CNGR), ora ribattezzato Comitato Nazionale per la Valutazione della Ricerca (CNVR). Il CNVR ha, fra l’altro, il compito di “indicare i criteri generali per le attività di selezione e valutazione dei progetti di ricerca” finanziati dal MUR. Nella prima applicazione del decreto, dunque, i 7 membri del vecchio Comitato Nazionale dei Garanti della Ricerca rimangono in carica, ma vengono affiancati da otto membri nominati direttamente dal ministro dell’università e della ricerca, senza nessun vincolo oltre il rispetto della parità di genere. 2 In altre parole, per decidere come e con quali criteri distribuire i fondi PRIN PNRR non solo il ministro può nominare chi vuole, ma i nominati, essendo 8, sono sufficienti per ottenere la maggioranza nelle deliberazioni del comitato – le quali dunque possono venir decise da valutatori di designazione interamente politica.
Con il Decreto 30 luglio 2021, n. 1004 del Ministro dell’Università e Ricerca, la ministra Messa ha provveduto a scegliere gli 8 nuovi componenti del CNVR: si possono leggere in questo articolo di “Roars”. Ed è un comitato con una maggioranza di diretta ed esclusiva emanazione politica che ha consentito questo uso della bibliometria inappropriato, irresponsabile, e perfino impugnabile davanti alla giustizia amministrativa. Per il TAR del Lazio era infatti chiaro già nel 2015 che, perfino se lo ammettiamo impropriamente come indicatore di qualità e non di popolarità, il fattore d’impatto riguarda “la qualità complessiva delle singole riviste più che la qualità dei singoli articoli in esse contenuti e redatti dall’interessato”.
A un osservatore esterno i decreti e gli acronimi possono apparire vacui e tediosi esoterismi burocratici: ma in questa vacuità si cela una valutazione di stato ancor meno scientifica e ancora più sottomessa alla politica, specialmente entro un’università impoverita di denaro e di spirito che tende ad attribuire potere e prestigio a chi, ad arbitrio del principe, ottiene fondi per i propri progetti di ricerca. Il “governo dei migliori” si è baloccato irresponsabilmente con la bibliometria. Governi peggiori potranno seguire la via regolamentare che ha predisposto e fare di peggio.
2. Il primo comma dall’articolo 64 prevede invece che a regime i componenti del CNVR siano “quindici studiosi, italiani o stranieri, di elevata qualificazione scientifica internazionale, appartenenti a una pluralità di aree disciplinari, nominati con decreto del Ministro dell’università e della ricerca, tra i quali tre componenti sono scelti dal Ministro dell’università e della ricerca e gli altri dodici sono designati, due ciascuno e nel rispetto del principio della parità di genere, dal Consiglio universitario nazionale, dalla Conferenza dei rettori delle università italiane, dalla Consulta dei presidenti degli enti pubblici di ricerca, dall’European Research Council e dall’Accademia nazionale dei Lincei e, uno ciascuno, dalla European Science Foundation e dal Consiglio nazionale dei ricercatori e dei tecnologi.”
Send to Kindle
