Rivista dell'Università in Movimento
  • Increase font size
  • Default font size
  • Decrease font size
Riflessioni sul modello di valutazione dell'ANVUR
Sapere / Potere - Analisi
Giuseppe Caputo    14.09.11

 

anvurCriteri e parametri

La legge 240/2010 ha istituito l’abilitazione scientifica nazionale per l’accesso ai ruoli di professore universitario prevedendo che la valutazione dei candidati avvenga secondo dei “criteri e parametri” stabiliti da un decreto ministeriale, ora in corso di emanazione. Con questa disposizione viene stabilito che la selezione dei professori non sia frutto della libera valutazione di commissioni indipendenti, ma venga assoggettata a delle regole ministeriali. Diversi decenni di cattive pratiche - che in alcuni casi si sono configurate come dei veri e propri abusi - hanno spinto il legislatore a togliere all’accademia il controllo sulla selezione dei docenti. Il dibattito si è ora spostato sulla definizione di queste nuove “regole” ministeriali. Il decreto che istituisce l’abilitazione dei professori recita che: «il Ministro, con proprio decreto, definisce criteri e parametri, differenziati per funzione e per area disciplinare, ai fini della valutazione dei candidati». Per la definizione dei «criteri e dei parametri» il Ministro ha chiesto dei pareri a tre suoi organi di consulenza: l’ANVUR, il CEPR e il CUN, i quali, lavorando in modo autonomo, hanno prodotto delle proposte articolate.

La proposta dell’ANVUR

Mentre le proposte del CEPR e del CUN condividono la stessa “filosofia” di fondo che consiste nell’individuare delle soglie minime di produttività scientifica, differenziate per area disciplinare, superate le quali è possibile accedere al giudizio di merito da parte delle commissioni, la proposta dell’ANVUR ha un’impostazione molto differente. L’ANVUR dopo avere pubblicato un primo documento il 22 giugno, appena un mese dopo ne ha pubblicato un secondo, in cui accoglie alcune delle numerose critiche che erano venute dalla comunità accademica. Questa curiosa procedura, che vede un’agenzia di valutazione modificare i propri pareri in appena un mese sotto la pressione di coloro che al giudizio dell’agenzia dovrebbero essere sottoposti, è già di per sé un indice di quanto sia delicata e controversa la materia in discussione. Nel documento del 25 Luglio l’ANVUR ha in parte accolto alcune richieste di modifica, in parte ha orgogliosamente difeso le proprie scelte iniziali.

La proposta dell’ANVUR è fondata su un criterio statistico secondo cui un ricercatore per accedere alla valutazione da parte della commissione deve possedere una produzione scientifica superiore alla mediana della fascia per cui chiede l’abilitazione. Ad esempio, un ricercatore per diventare professore associato deve possedere una “qualità” scientifica superiore a quella della metà dei professori associati in servizio. La “qualità” scientifica è misurata in modo diverso per le aree tecnico-scientifiche e le aree giuridica, umanistica e in parte economica. Per le prime sono utilizzati tre indicatori: numero totale di pubblicazioni su riviste scientifiche censite da banche dati internazionali, l’h-index, il numero totale di citazioni. In base alla riformulazione contenuta nel secondo documento, è necessario soddisfare il criterio della mediana per almeno due dei tre su menzionati indicatori. Per tutte le altre aree si utilizza come unico indicatore il numero di pubblicazioni ponderato tenendo conto della natura delle pubblicazioni. La ponderazione si basa sull’attribuzione di un punteggio prestabilito a ciascun tipo di prodotto della ricerca secondo una scala di valori. Ad esempio, una monografia internazionale vale 3 punti, una monografia nazionale vale 1 punto, un articolo su rivista internazionale vale 1 punto, e un articolo su rivista nazionale vale 0,5.

Ricercatori e gruppi di ricerca

Dalla lettura dei due documenti ANVUR emerge che secondo l’agenzia di valutazione, i ricercatori non contano in quanto singoli individui che portano avanti con più o meno successo il loro lavoro. I ricercatori appaiono invece come dei gruppi o aggregati che devono essere assoggettati alle leggi statistiche dei bilanci di popolazione. All’osservazione che si darebbero casi di singoli scienziati di valore (anche del passato) che non soddisfano il criterio della mediana (ad esempio ricercatori che pubblicano pochi lavori di alto livello che inizialmente ricevono poche citazioni) e che quindi verrebbero ingiustamente esclusi dall’abilitazione, l’Agenzia risponde che non si possono usare casi singoli «per discutere le proprietà di una distribuzione e quindi degli errori che si possono generare attraverso la misurazione». Inoltre l’Agenzia non si preoccupa di tali errori (verrebbe di chiamarli “effetti collaterali”, se simile linguaggio non risuonasse in modo macabro) perché considerati «statisticamente irrilevanti» e richiede invece degli “esempi” in grado di dimostrare che tali errori riguardano «ampi gruppi di scienziati che sarebbero stati penalizzati nella loro carriera dall’adozione del criterio della mediana».

Siamo dunque in presenza di una trasformazione profonda del concetto di valutazione dei candidati. La pratica e la legislazione del passato hanno sempre previsto che per accedere a un concorso (di qualunque natura) fosse necessario soddisfare dei prerequisiti (ad esempio la laurea o il diploma) prima di sottoporsi al giudizio di una commissione. Secondo questa pratica ogni candidato fa storia a sé ed è degno di giocarsi il proprio futuro in una selezione condotta da una commissione indipendente. Adesso invece il singolo in quanto tale diviene un soggetto “statisticamente irrilevante” che non ha il diritto di essere valutato da una commissione. Si propone invece di passare ad un’analisi di popolazione basata sulle proprietà d’insieme del gruppo di appartenenza a scapito delle specifiche individualità. La valutazione basata sulla dialettica fra un individuo e una commissione di esperti viene ora rimpiazzata da un processo automatico di verifica del soddisfacimento di determinati parametri.

Non si tratta di un cavillo burocratico, l’ANVUR con questo schema di valutazione porta avanti un disegno lucido di ristrutturazione della ricerca universitaria italiana: se il singolo non conta più, se l’escluso è un “effetto collaterale” di un sistema imperfetto, ma efficace, ciò che conta veramente sono dunque i gruppi di ricerca. L’università così ridisegnata vedrà prevalere le grandi aggregazioni (gruppi di ricerca, dipartimenti) capaci di far falange e di penetrare il mercato delle pubblicazioni scientifiche ad elevato impatto. Verranno predilette le tematiche di studio maggiormente di moda, e quelle capaci di sostenere più candidati inserendone i nomi come co-autori delle pubblicazioni. Si apre così la strada ad una costruzione a tavolino delle carriere individuali degli studiosi appartenenti ai grandi gruppi di ricerca.

Sul cattivo uso degli indicatori

Analizzando nel dettaglio il metodo proposto dall’ANVUR si possono fare numerosi altri rilievi. Tuttavia, vorrei preliminarmente precisare che la critica di fondo non è rivolta all’introduzione degli indicatori bibliometrici nello schema di valutazione, ma ad un loro uso rigido e distorto. In un recente studio sugli indicatori bibliometrici, l’Accademia delle Scienze francese ha evidenziato i numerosi pericoli che possono nascere dal loro utilizzo nella valutazione degli individui. Secondo l’Accademia «nessun indicatore o nessun insieme d’indicatori bibliometrici può da solo riassumere la qualità della produzione scientifica di un ricercatore», e inoltre «è impossibile valutare un ricercatore sulla base di semplici indicatori quantitativi». Non a caso «diversi validi ricercatori, compresi dei premi nobel, hanno indicatori quantitativi di modesto valore». L’Accademia francese, pur riconoscendo i vantaggi della bibliometrica come strumento di valutazione, sottolinea che «la bibliometria non è una panacea, ma solamente uno strumento da utilizzare con discernimento nella valutazione fra pari», una valutazione fra pari che deve mantenere un carattere qualitativo basato sul’analisi di merito della produzione scientifica dei candidati. Del resto la stessa ANVUR nel suo secondo documento afferma che «nella valutazione di grandi strutture si possono trovare indicatori adeguati, mentre se si valuta una singola persona, il grado di imprecisione può diventare rilevante». Ciò malgrado l’ANVUR però non trae le giuste conseguenze da questa affermazione, anzi al contrario sorprendentemente afferma che «l’ANVUR non sta suggerendo di valutare singoli candidati, poiché la valutazione dei candidati è fatta dalle commissioni». Ma escludere dall’accesso alla selezione un candidato non è forse la più radicale delle valutazioni?

Filoesterismo

Vediamo ora alcuni aspetti specifici della proposta dell’Agenzia. Secondo l’ANVUR uno studioso che pubblica un saggio, ad esempio su Dante Alighieri in lingua italiana, riceverebbe una valutazione tre volte inferiore a chi lo pubblica in lingua straniera (qualunque essa sia) e ciò a prescindere dai contenuti della pubblicazione che non sarebbe neppure presa in considerazione nella prima fase di selezione. Qualcuno potrebbe immaginare che nel Regno Unito una legge di sua Maestà stabilisca che i saggi su Shakespeare hanno più valore se pubblicati in una lingua diversa dall’inglese?

Quantità e qualità

Per la prima volta in una legge italiana verrebbe sancito che non importa il contenuto delle pubblicazioni, ma la loro quantità. Per ottenere l’abilitazione un ricercatore verrebbe infatti spinto ad aumentare il volume della sua produzione scientifica e non la qualità dei contenuti. L’effetto di questa scelta, ben noto nel mondo anglosassone, è quello della cosiddetta salami pubblications: per aumentare il numero di lavori si spezzetta il contenuto di una ricerca in più articoli. Il peso scientifico di un lavoro non cambia, ma si aumenta in modo apparente la propria produzione.

Mediana e settori di ricerca

Malgrado l’intento dichiarato dall’ANVUR sia quello di accrescere la qualità della ricerca italiana, il paradosso del metodo proposto è che verrebbero premiati i settori scientificamente poco produttivi e penalizzati quelli più produttivi. Un esempio può chiarire questo paradosso. In un settore la cui mediana delle pubblicazioni (oppure l’h-index o il numero di citazioni) è ad esempio 2, verrebbero abilitati coloro con un numero di pubblicazioni (oppure h-index o il numero di citazioni) pari ad almeno a 3, mentre nei settori con mediana 25 verrebbero esclusi candidati con 24 pubblicazioni. Si tratta evidentemente di un’ingiustizia che garantisce quei settori che non hanno investito nella ricerca e mortifica chi invece si è impegnato anche duramente.

Autori e co-autori

L’ANVUR ha elaborato un teorema secondo il quale, ad esempio, 10 pubblicazioni scritte da un solo autore valgono meno di 11 pubblicazioni scritte da 10 coautori. Il malcapitato autore solitario potrebbe dunque non ottenere l’abilitazione nazionale, mentre l’otterrebbero i 10 autori che hanno collaborato fra loro. Il tutto sempre a prescindere dai contenuti delle pubblicazioni. Anche questa disposizione è finalizzata alla compressione dei singoli studiosi indipendenti a tutto vantaggio dei grandi gruppi.

Per concludere

Di esempi potrebbero farsene altri. Ma quelli riportati sono sufficienti a dimostrare come la proposta dell’ANVUR sia controproducente, ingiusta e paradossale. C’è dunque da chiedersi perché un comitato di esperti di chiara fama abbia elaborato una simile proposta. Sembra che lo scopo principale dell’ANVUR non sia quello di sviluppare una seria metodologia di valutazione, ma quello di creare un rozzo sistema di “selezione” dei ricercatori e professori associati che consenta di raggiungere tre obiettivi:

a) esautorare le commissioni giudicatrici spostando sul ministero le competenze sulla valutazione dei candidati

b) limitare il numero di abilitati digrossandoli a prescindere da ogni valutazione di merito

c) mantenere lo status quo all’interno dei settori disciplinari garantendo a tutti, a prescindere dal valore e dall’impegno profuso nella ricerca, una quota di abilitati.

Dopo i fiumi di parole spesi sul merito e la valutazione da parte del Governo, il primo atto dell’agenzia di valutazione di nomina ministeriale dimostra, se ce ne fosse ancora bisogno, che la volontà politica è quella di mortificare l’università e limitare la libertà di ricerca. Dopo la legge “Gelmini” che ha disarticolato l’assetto istituzionale degli Atenei e ne ha prosciugato le casse, infierisce adesso sull’università l’ANVUR con un colpo forse definitivo alla sua autonomia e alla sua capacità di formare studiosi liberi.

NOTE

I documenti elaborati dall’ANVUR sono reperibili sul sito www.anvur.it

Il documento dell’accademia francese delle scienze è disponibile al link  http://www.academie-sciences.fr/activite/rapport/avis170111.pdf

 

Commenti 

 
0 #8 profile 2017-02-20 08:54 Citazione
 
 
0 #7 profile 2016-12-22 10:28 Citazione
 
 
0 #6 profile 2016-12-22 09:55 Citazione
 
 
0 #5 profile 2016-12-19 11:22 Citazione
 
 
0 #4 Filippo 2011-10-19 13:16
Parliamoci chiaro: il 95% dei bravi ricercatori riceve molte citazioni. Tutti quelli che difendono lo status quo vanno sempre a ripescare casi particolari dimenticando l'enormemente più alto margine di errore degli attuali concorsi dove spesso e volentieri i ricercatori vengono selezionati per anzianità. Perchè non parlate di tutti gli ottimi ricercatori esclusi dall'attuale sistema che premia la fedeltà all'ordinario e non il merito?
Citazione
 
 
0 #3 Filippo 2011-10-19 13:11
L'ANVUR ha perfettamente ragione. Parliamoci chiaro: nel 95% dei casi i buoni ricercatori ottengono tante citazioni. Tutti quelli che cercano di dfendere lo status quo si rifanno sempre a casi particolari fingendo di non vedere il ben più grave margine di errore delle attuali procedure concorsuali dove i ricercatori vengono selezionati per anzianità. E' una vergogna che difendiate la valutazione soggettiva di commissioni palesemente orientate a prendere candidati interni. Perchè non parlate di tutti gli ottimi ricercatori esclusi a causa del sistema attualmente vigente?
Citazione
 
 
+1 #2 Marko Bertogna 2011-09-26 14:18
Segnalo la discussione in merito sul blog dei Ricercatori Universitari non Confermati:
http://giovaniricercatoriuniversitari.wordpress.com/2011/09/23/abilitazione-nazionale/
Citazione
 
 
+1 #1 Gaetano Lamberti 2011-09-18 15:51
L'analisi di Giuseppe è chiarissima e "quasi" completa.
Un ulteriore aspetto negativo della proposta riguarda il caso del ricercatore le cui valutazioni quantitative siano tali da porlo immediatamente al di sotto della mediana dei risultati degli associati del suo settore.
Questa persona, pur essendo più produttivo (secondo i discutibili criteri quantitativi selezionati) di molti dei suoi colleghi della fascia superiore, NON PUO' nemmeno provare ad essere promosso.
Cioè, anche essendo più qualificato e più produttivo di molti altri colleghi, deve continuare ad essere valutato (e pagato) meno di loro. Non solo si trova in questa situazione (può capitare, capita tutti i giorni), ma PER LEGGE, non può nemmeno sperare di uscirne.
Non so, a me sembra esattamente il contrario di una norma "meritocratica": chi è più bravo deve essere considerato e pagato meno.
Citazione
 

Aggiungi commento


Codice di sicurezza
Aggiorna