Skip to navigation – Site map

HomeNuméros44-2Actualité de la rechercheDébats. L’évaluation des publicat...La valutazione dei prodotti della...

Actualité de la recherche
Débats. L’évaluation des publications scientifiques en débat

La valutazione dei prodotti della ricerca ed il suo impatto sul sistema universitario e degli enti di ricerca: il caso italiano

Stefano Fantoni and Alessio Ancaiani
p. 313-318

Full text

  • 1  A. Ancaiani opera presso per l’Agenzia Nazionale di Valutazione delle Università e della Ricerca ( (...)

1La prima valutazione dell’attività di ricerca italiana è stata fatta dal Comitato d’Indirizzo per la Valutazione della Ricerca (CIVR)1, un organismo di nomina governativa, che avviò per il sistema delle università e degli enti di ricerca, un processo finalizzato alla qualificazione dell’attività di ricerca del nostro Paese. In quell’esercizio furono analizzati poco più di 17.000 prodotti, scelti dalle varie strutture, per il triennio 2001-2003 ed i risultati furono pubblicati nel gennaio del 2006. Dello stesso anno è la legge istitutiva dell’Agenzia Nazionale di Valutazione delle Università e della Ricerca (ANVUR), quale agenzia autonoma, preposta a monitorare la qualità dell’attività formativa e di ricerca nel nostro paese. Bisogna tuttavia aspettare fino al febbraio del 2010 perché venga emanato il regolamento ANVUR con il decreto del Presidente della Repubblica nº 76/2010.

2Il consiglio di direzione dell’Agenzia, costituito da sette membri, di nomina presidenziale, si è insediato il 2 maggio del 2011, e dopo la elezione del Presidente, l’ANVUR è diventata operativa. La prima decisione operativa del consiglio è stata quella di riprendere l’operato del CIVR allo scopo di colmare il vuoto di informazioni que si era creato sulla qualità della ricerca italiana dal 2004 in poi. Un vuoto di ben sette anni, che un paese che vuole crescere ed innovare non può permettersi e che va contro quei principi di premialità del merito, considerati irrinunciabili per il sistema preposto all’alta formazione dei giovani. Bisognava quindi prendere in esame il settennio 2004-2010, e fu chiaro fin da subito che sarebbe stato necessario ottenere informazioni non solo sull’eccellenza della produzione scientifica, come era avvenuto con l’esercizio CIVR, ma anche sulla sua qualità media; informazioni, che potessero essere messe a disposizione degli atenei e degli enti di ricerca nella forma più disaggregata possibile perché potessero essere utilizzate, non tanto per stabilire delle classifiche globali che hanno per li più un interesse mediatico, ma sopra tutto nelle attività gestionali e di programmazione delle strutture preposte alla formazione e alla ricerca. Tutto ciò implicava l’estensione dell’analisi CIVR in mofatta dal CIVR in modo da tenere conto della produzione scientifica di ogni singolo ricercatore con un conseguente incremento della complessità valutativa di almeno un fattore dieci rispetto a quella del vecchio esercizio.

Con quali finalità?

3Tra le principali finalità dell’Agenzia c’era quella di presentare al Paese una valutazione imparziale, rigorosa e trasparente della ricerca nelle università, negli enti di ricerca e nelle loro articolazioni interne, quali dipartimenti e istituti, che potesse essere utilizzata dagli organi di governo per intraprendere azioni volte a migliorare la qualità della ricerca in quelle aree che appaiono deboli rispetto alla media nazionale. Ma che potesse anche risultare utile agli studenti per orientarsi nelle difficili scelte collegate ai corsi di studio e alle università; ai giovani ricercatori per approfondire la propria formazione e svolgere attività di ricerca nei migliori dipartimenti; alle imprese e agli enti pubblici per avere un quadro delle strutture di ricerca che operano al meglio nel territorio nazionale; cioè, al complesso sociale per quella crescita di cui il nostro paese ha assoluto bisogno.

4Un secondo obiettivo era quello di fornire al Ministero dell’Istruzione, Università e Ricerca (MIUR) una graduatoria nazionale per area scientifica ai fini della distribuzione di una parte significativa dei finanziamenti da assegnare alle varie strutture, la così detta componente premiale.

5Infine, i risultati forniti dall’ANVUR avrebbero dovuto consentire un confronto della qualità della ricerca nazionale con quella dei principali paesi industrializzati, senza che le graduatorie ANVUR dovessero aggiungersi ai numerosi, quanto poco significativi, ranking degli atenei che alcune organizzazioni, quotidiani e università avevano cominciato a pubblicare periodicamente. Tali ranking infatti non riguardando unicamente la ricerca e i parametri a essa collegati, ma forniscono dati aggregati di vario tipo e natura, certamente di grande impatto mediatico, ma in realtà di scarsa utilità alle finalità sopra elencate. A questo scopo sono infatti assolutamente necessari una profondità e un dettaglio di informazioni sulla qualità della ricerca, distintamente nelle sue aree tematiche e per le varie e diversificate strutture presenti nel territorio italiano, che siano di gran lunga superiori a quelle ottenibili dai vari ranking disponibili sul mercato mediatico.

6Queste erano le premesse e questo è stato ciò che ANVUR ha effettivamente perseguito con la Valutazione della Qualità della Ricerca, denominata VQR 2004-2010.

7Ci si può chiedere se la VQR dell’ANVUR abbia effettivamente raggiunto lo scopo di essere di aiuto alle università e agli enti di ricerca per migliorare la qualità della loro ricerca. Purtroppo non è ancora possibile dare una risposta quantitativa a questa domanda. Troppe sono state le differenze tra CIVR e VQR per poter fare confronti significativi tra i risultati ottenuti nei due esercizi. D’altra parte laVQR si è conclusa da troppo poco tempo (i risultati sono stati presentati e pubblicati a fine giugno 2013) per poterne analizzare i processi di feedback sull’attività di ricerca nazionale. Eppure, si sono già manifestati importanti effetti nel comportamento delle università e, particolarmente, nelle modalità che vengono adottate per i reclutamenti dei docenti universitari e per il loro avanzamento di carriera, al punto che si può veramente parlare di un prima e di un dopo della VQR nella gestione e programmazione delle università e degli enti di ricerca.

Quale futuro?

8Quello che si può dire fin da subito è che il processo valutativo iniziato con la VQR va proseguito periodicamente con cadenza quadriennale o al più quinquennale, apportando quei cambiamenti metodologici che si renderanno necessari sia per correggere gli eventuali errori commessi in precedenza sia per allinearsi al nuovo divenire del sistema universitario e della ricerca, ma che non tali da stravolgere l’impianto iniziale. Vorremmo infatti già a partire dalla prossima VQR poter valutare i miglioramenti o, se ci saranno, i peggioramenti della qualità della ricerca e, in genere, dell’attività di alta formazione. Anzi riteniamo che sia opportuno che i criteri valutativi ANVUR percolino ai vari stadi della gestione di formazione e ricerca, quali ad esempio il reclutamento dei giovani, gli avanzamenti di carriera dei professori associati, il monitoraggio degli apprendimenti degli studenti, la qualità della formazione dottorale e la sua coerenza con le richieste che vengono dalle imprese.

Alcuni numeri della VQR

9Dopo questa breve introduzione, diamo, qui di seguito, in modo sintetico, alcune informazioni sui vari passi della VQR e sulle metodologie usate, allo scopo di permettere quei raffronti con i processi di valutazione della ricerca, già effettuati o in corso di esecuzione o addirittura in programmazione nei vari paesi che il dibattito aperto da questa rivista ha aperto e coordinato.

10Con il Decreto Ministeriale del 15 luglio 2011 si affida all’ANVUR lo svolgimento dell’esercizio di Valutazione della Qualità della Ricerca per il settennio 2004-2010, cioè della VQR.

11A fine luglio 2011, l’ANVUR pubblica sul proprio sito una bozza del Bando VQR, chiedendo agli atenei e agli enti di ricerca di esaminarlo inviando commenti, integrazioni e proposte di modifica. I numerosi suggerimenti pervenuti vengono esaminati e in parte accolti nella versione finale del Bando VQR, approvata dal Consiglio Direttivo dell’ANVUR a novembre 2011 con la nomina di Sergio Benedetto come Coordinatore e di Andrea Bonaccorsi come vice-coordinatore. Con la pubblicazione della versione definitiva del Bando, il 7 novembre 2011 si avvia ufficialmente la VQR.

12L’ANVUR ha richiesto a ciascun docente universitario 3 prodotti di ricerca mentre ad ogni ricercatore degli Enti di Ricerca ne ha richiesti 6, tutti pubblicati nel settennio 2004-2010, secondo opportune specificità. Sono stati presentati quasi 185.000 prodotti provenienti dalle 133 strutture esaminate (31 in più rispetto all’esercizio CIVR), a fronte di più di 195.000 prodotti attesi, quindi, con un 5% di inattività.

13Sono stati valutati non solo articoli su rivista, libri e loro capitoli, ma anche brevetti depositati, composizioni, disegni, design, performance, mostre ed esposizioni, manufatti, prototipi ed opere d’arte e loro progetti, banche dati e software, carte tematiche, purché corredati di pubblicazioni atte a consentirne adeguata valutazione.

14Sono stati quindi nominati dall’ANVUR 450 esperti distribuiti in 14 comitati, uno per ciascuna area tematica, per la maggior parte accademici, ma anche scelti tra gli enti di ricerca. Il 20% degli esperti opera presso università e centri di ricerca stranieri.

15I nostri esperti hanno lavorato sulla valutazione dei prodotti della ricerca per quasi tutto il 2012, incontrandosi regolarmente presso la sede dell’ANVUR. Ciascun comitato ha elaborato un rapporto finale con i risultati relativi alla propria area tematica.

Bibliometria o peer review?

16L’ANVUR ha indirizzato gli esperti verso una tecnica mista di strumenti bibliometrici e di peer review. In certe aree, quelle per le quali esistono dati citazionali certificati, è stata usata prevalentemente la bibliometria. Una bibliometria che ha fatto uso dell’impact factor della rivista sul quale un articolo di ricerca era stato pubblicato e del numero di citazioni ricevuto dall’articolo stesso, secondo una combinazione ben definita, riservando la peer review ai soli casi in cui i due indicatori fornivano risultati inconciliabili tra loro. Così è stato fatto per le aree di matematica e informatica, fisica, chimica, scienze della terra, agraria e veterinaria, biologia, medicina, ingegneria civile ed architettura, ingegneria industriale e dell’informazione, con la parziale eccezione di architettura. Mentre per le scienze umane, quali le scienze dell’antichità, filologiche e letterarie e storico artistiche, le scienze storico, filosofiche e psicologiche , la giurisprudenza, le scienze politiche e sociologiche e, in parte, le scienze economiche e statistiche, per le quali non sono disponibili dati citazionali, gli esperti hanno fatto ricorso a referee esterni.

17I 14 comitati si sono avvalsi di quasi 15.000 referee esterni, di cui oltre il 30% opera presso università e centri di ricerca stranieri, e dei database citazionali Web of Science (Thompson – Reuter) e Scopus (Elsevier) per le valutazioni di tipo bibliometrico.

18I risultati ottenuti hanno mostrato oltre il 36% di prodotti eccellenti, 26% di buona qualità, 14% accettabili e 23% insufficienti, mentre solo l’1% dei prodotti ha subito una penalizzazione, perché esterni al periodo esaminato o non conformi a quanto richiesto.

19L’esercizio di valutazione si è concluso a fine giugno 2013, in anticipo di più di un mese sui tempi previsti dal Decreto Ministeriale, con la pubblicazione di un rapporto generale e di quattordici rapporti di Area, che si possono trovare nel sito ANVUR, dove i risultati ottenuti sono confrontati all’interno delle varie aree e per ognuna delle 133 strutture che hanno partecipato alla valutazione.

20Per ciascuna delle aree e delle strutture o sottostrutture i risultati forniscono la valutazione non solo per l’indicatore relativo alla qualità dei prodotti, che è quello principale, ma anche per altri indicatori, che concorrono a fornire un quadro il più completo possibile dell’impegno che viene rivolto alla ricerca, quali ad esempio quello relativo alla valutazione dei soggetti reclutati nel settennio 2004-2010 e che fornisce una misura della qualità del reclutamento di un ateneo o di un ente di ricerca, quello riguardante la capacità di attrarre finanziamenti esterni in bandi competitivi, quello dell’internazionalizzazione, quello della formazione dottorale e post-dottorale, quello relativo alle risorse interne che le strutture riservano alla ricerca, per non dimenticare gli indicatori di terza missione o quelli specifici per le scienze umane riguardanti ad esempio i siti archeologici o i poli museali.

21Il MIUR ha utilizzato i risultati della VQR per attribuire le quote del finanziamento premiale alle varie strutture. Nel 2013, la quota premiale è stata del 14% del fondo di finanziamento ordinario, di cui il 66% è stata distribuita sulla base dei risultati ottenuti nella VQR, ponendo particolare attenzione all’indicatore che misura la qualità del reclutamento. Purtroppo, la scarsità di finanziamenti complessivi, che a mala pena sono sufficienti per le spese fisse che i vari atenei devono sostenere ha costretto il MIUR a porre dei vincoli che hanno limitato l’effetto della premialità, come ad esempio quello che un ateneo non potesse globalmente ricevere meno del 5% di quanto ricevuto l’anno precedente. C’è da augurarsi che in futuro si possa rendere più efficace il processo della premialità, come tra l’altro richiesto esplicitamente dalle università stesse.

22In conclusione, vorremmo porre l’accento su quanto sia importante che il processo valutativo tenga in dovuto conto anche altre valenze che sono fondamentali per una buona università che voglia formare la nuova classe dirigente del futuro. Il timore è che focalizzare l’attenzione sulla sola ricerca possa indurre l’effetto distorto di trascurare la didattica o le attività professionali, anch’esse necessarie in certe aree, quali ad esempio la medicina o la giurisprudenza. A questo proposito il fatto che un’Agenzia venga incaricata di occuparsi sia della valutazione della ricerca sia dell’assicurazione della qualità, come è il caso dell’ANVUR, appare un elemento di opportunità, anche se ciò pone delle problematiche che sarebbe utilissimo condividere a livello europeo. Infatti, se da una parte la varie attività che fanno parte integrante della vita universitaria e degli enti di ricerca non sono assolutamente indipendenti tra di loro, la valutazione di un docente universitario o di un ricercatore deve essere valutata nella sua complessità e totalità, che va ben al di là di quella individuale di scrivere articoli o libri e di acquisire così una notorietà internazionale.

Top of page

Notes

1  A. Ancaiani opera presso per l’Agenzia Nazionale di Valutazione delle Università e della Ricerca (ANVUR). S. Fantoni è stato Rettore della Scuola Internazionale di Studi Superiori Avanzati (SISSA) di Trieste e ricopre attualmente l’incarico dipresidente dell’ANVUR.

Top of page

References

Bibliographical reference

Stefano Fantoni and Alessio Ancaiani, La valutazione dei prodotti della ricerca ed il suo impatto sul sistema universitario e degli enti di ricerca: il caso italianoMélanges de la Casa de Velázquez, 44-2 | 2014, 313-318.

Electronic reference

Stefano Fantoni and Alessio Ancaiani, La valutazione dei prodotti della ricerca ed il suo impatto sul sistema universitario e degli enti di ricerca: il caso italianoMélanges de la Casa de Velázquez [Online], 44-2 | 2014, Online since 01 January 2018, connection on 28 March 2024. URL: http://journals.openedition.org/mcv/5864; DOI: https://doi.org/10.4000/mcv.5864

Top of page

About the authors

Stefano Fantoni

ANVUR, Roma – Università di Trieste

Alessio Ancaiani

ANVUR, Roma

Top of page

Copyright

CC-BY-NC-ND-4.0

The text only may be used under licence CC BY-NC-ND 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search