Rivista dell'Università in Movimento
  • Increase font size
  • Default font size
  • Decrease font size
La matematica e i parametri per la valutazione
Insegnare / Ricercare - Analisi
Alessandro Figà Talamanca    14.09.11

 

talamancaUn nuovo assetto normativo?

Il primo intervento normativo che impone «parametri di valutazione della ricerca» è stato presumibilmente il Decreto Legge n.180 del 2008, pubblicato sulla Gazzetta Ufficiale della Repubblica il 10 novembre 2008. Ecco che cosa dice questa norma legislativa:

nelle procedure di valutazione comparativa per il reclutamento dei ricercatori bandite successivamente alla data di entrata in vigore del presente decreto, la valutazione comparativa è effettuata sulla base dei titoli e delle pubblicazioni dei candidati, ivi compresa la tesi di dottorato, utilizzando parametri, riconosciuti anche in ambito internazionale, individuati con apposito decreto del Ministro dell'istruzione, dell'università e della ricerca, avente natura non regolamentare, da adottare entro 30 giorni dalla data di entrata in vigore del presente decreto, sentito il Consiglio universitario nazionale.

Con questa norma di legge, per la prima volta, nella legislazione italiana, i «parametri riconosciuti» non sono lasciati alla discrezionalità di chi valuta la produzione scientifica, ma devono essere indicati con un decreto del Ministro, sia pure sentito un organo tecnico come il Consiglio universitario nazionale. L’entrata in vigore di questa norma ci spinge a concentrarci sul problema di possibili «parametri» utilizzabili per le valutazioni di individui. Disposizioni analoghe, riguardanti le abilitazioni a professore associato e ordinario sono contenute nella più recente Legge 240 del 2010, la cosiddetta Riforma Gelmini. È certamente venuto il momento di chiederci quale è il significato da dare alla parola ̒parametro̕. È semplicemente un altro modo di dire ̒criterio̕? O comporta che al parametro sia associata una variabile numerica?

Cosa si intende per parametri?

Osserviamo che la Commissione Scientifica dell’Unione Matematica Italiana, forte del parere in merito ai “parametri”, espresso dalla International Mathematical Union in un documento Citation Statistics uscito nel giugno 2008, sembra aderire all’ipotesi che parametro significhi semplicemente ̒criterio̕, e dunque che ad esso non debba essere necessariamente associata una variabile numerica. Infatti, in una mozione approvata il 22 novembre 2008, proprio in merito alle nuove norme, l’Unione Matematica Italiana

auspica che tra i parametri che verranno individuati dal Ministero figurino, in posizione predominante, la qualità, l'originalità, il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Sulla base dell'esperienza internazionale, tali parametri non possono essere calcolati automaticamente a partire da dati statistici, ma possono essere determinati soltanto sulla base del parere di un gruppo di esperti della materia, che si assume la responsabilità del giudizio scientifico

Questo auspicio è coerente con l’opinione espressa dal documento Citation Statistics secondo cui nella valutazione della ricerca, «peer review – the judgement of fellow scientists – is an important component of assessment».

Perché considerare le esperienze e le valutazioni dei matematici

Non è affatto detto che l’opinione dei matematici, come espressa dalla International Mathematical Union e dalla Unione Matematica Italiana (rispettivamente IMU e UMI) sia universalmente condivisa. Dovremo prima di tutto discutere fino a che punto la scienza matematica è un caso speciale nell’universo delle altre discipline.

La caratteristica principale della ricerca matematica è quella di essere un’attività che può essere svolta da singoli individui, anche in assenza di investimenti in laboratori e strumentazione più o meno costosi, e cioè anche in assenza di finanziamenti. È per questo che in matematica sono rare le collaborazioni dirette di più di due persone. Non c’è bisogno di una “gruppo” costituito, spesso alle dipendenze di un capo, attorno ad un laboratorio o ad un finanziamento. Il singolo matematico possiede nella sua testa un laboratorio attrezzato e, dopo i primi passi nel mondo scientifico (al più tardi), decide autonomamente le direzioni della sua ricerca scegliendo i problemi che ritiene più interessanti. Naturalmente la ricerca matematica nel suo complesso ha un carattere collettivo. I mille rivoli della ricerca individuale, autonomamente proposta e portata avanti dai singoli individui, si riversano con il tempo nel fiume principale (mainstream) della ricerca collettiva. Il fiume principale è però definito a posteriori, dal contributo dei suoi affluenti, e non a priori, dai finanziatori, o da coloro che riescono a convincere i finanziatori. Talvolta risultati matematici dimenticati che non sono velocemente entrati nel mainstream, riemergono successivamente come un fiume carsico per alimentare in tempi successivi il mainstream stesso.

Molto diversa è la situazione per ricerche che hanno bisogno di cospicui investimenti dedicati e di nutrite collaborazioni. Le direzioni della ricerca e le problematiche dovranno essere predefinite in un modo o nell’altro. Non sarà più possibile l’improvvisazione da parte del singolo ricercatore guidato solo dalla sua curiosità, o comunque dalla sua personale visione di cosa sia utile o importante. Questo non significa naturalmente che la matematica sia esente dal fenomeno delle “mode” o che in essa non si manifesti l’influenza di “grandi maestri” nel determinare che cosa è interessante o rilevante. Tuttavia, mentre è possibile che un contributo mediocre che si adegua alle mode correnti, possa avere più successo in termini di riconoscimenti al suo autore, è anche molto difficile che l’essere “fuori moda” faccia mancare il dovuto riconoscimento a contributi originali e profondi. Nessun vero matematico ritiene che l’ambito nel quale si svolgono le ricerche possa condizionare irrimediabilmente la qualità delle ricerche stesse.

Alla luce delle considerazioni su esposte, osservo che la ricerca matematica gode di una posizione speciale che purtroppo non è condivisa da altre discipline. Il costo ingente di molta ricerca scientifica costringe ad una definizione preliminare degli ambiti e degli scopi della ricerca, e rende quasi impossibile lavorare in ambiti “fuori moda”. Ma questo non è certo un vantaggio per la scienza e certamente non contribuisce a valorizzare l’originalità e l’innovazione. Molti fenomeni, ad esempio la distribuzione delle citazioni, che distinguono la matematica da altre scienze, sono legati proprio a questa posizione privilegiata, che non è realizzabile in altre discipline.

È per questo che le esperienze e le valutazioni dei matematici in tema di valutazione della ricerca possono essere significative anche per altre discipline. È possibile che non siano completamente applicabili alle scienze che sono costrette a svilupparsi nei canali predeterminati dai finanziamenti dedicati. Tuttavia le esperienze e le valutazioni dei matematici sono quelle di una scienza libera da condizionamenti esterni ed in grado pertanto di stimolare al massimo la creatività individuale, e non possono quindi essere completamente ignorate.

L’ Impact factor, il parametro numerico più diffuso

Il più diffuso parametro numerico per la valutazione della ricerca è quello denominato Impact Factor (IF), che, propriamente, è attribuibile solo alle (in realtà ad alcune) riviste, e relativamente ad un anno solare. Tuttavia, questo parametro è spesso attribuito agli articoli pubblicati su una rivista e addirittura, sommando gli IF dei lavori, ai loro autori. Si tratta di un parametro basato su due unità di rilevazione: gli articoli pubblicati su riviste e le loro citazioni in articoli pubblicati, in ambedue i casi si fa riferimento a riviste comprese nella banca dati della Thomson Scientific. Più precisamente lo IF di una rivista per l’anno N è il numero medio di citazioni ricevute nell’anno N di articoli pubblicati nella stessa rivista negli anni N-1 e N-2. È opportuno a questo punto osservare che, per definizione, lo IF di una rivista relativamente ad un anno è la media aritmetica di una distribuzione a valori interi non negativi.

Gli statistici sanno bene che ogni rilevazione che produce effetti premiali, o punitivi tende ad essere distorta. È per questo che i censimenti moderni sono regolati da norme che vietano la comunicazione dei dati alle agenzie delle entrate o ad altri enti governativi di controllo.

La crescente popolarità dello IF come misura della qualità (delle riviste, ma indirettamente degli articoli che vi sono pubblicati e degli autori di questi articoli), ha certamente avuto un effetto distorsivo. Il fatto che parametri di valutazione siano associati al numero di articoli pubblicati su “importanti riviste internazionali” e alle citazioni contenute in altri articoli, tende a gonfiare il numero degli articoli pubblicati ed anche il numero delle “importanti riviste internazionali”, che non è certo un numero chiuso. Poiché l’unità di base è il numero di articoli (quasi sempre indipendentemente dal numero degli autori) aumentano anche gli autori di ogni articolo.

Tuttavia, come evidenziato dai grafici che seguono, tratti dal documento dell’IMU citato sopra, è ancora evidente una forte dipendenza del numero delle citazioni dall’area disciplinare interessata, ed una altrettanto forte dipendenza, dall’area interessata, della tempestività delle citazioni.

 

 

talamanca1

talamanca2

 

Si può osservare che gli articoli di matematica sono citati molto poco nei primi anni dalla pubblicazione. È una strana peculiarità della matematica? O piuttosto è un indice della scarsa significatività delle citazioni precoci? E infatti, quali sono le ragioni perché un articolo è citato? Se vogliamo associare le citazioni alla qualità della ricerca dobbiamo ipotizzare che si cita un articolo perché contiene una novità scientifica che viene utilizzata da un altro autore per progredire nelle sue ricerche. Ma se l’articolo citato contiene una vera novità, ci vorrà del tempo perché la novità sia osservata, compresa, assimilata ed utilizzata in una ricerca indipendente, che a sua volta dovrà attendere per essere pubblicata. Come è possibile, se così stanno le cose, che un articolo venga citato nei primi due anni dopo la pubblicazione? Sembra a questo punto che le citazioni precoci, ad esempio entro due anni dalla pubblicazione, cioè quelle utilizzate per il calcolo dello IF, non possano riferirsi a vere novità scientifiche utilizzate per le loro ricerche da scienziati veramente indipendenti dall’autore. Saranno, più probabilmente, citazioni di scuola ad opera di ricercatori impegnati nelle stesse ricerche. Certamente queste citazioni indicano che gli autori (o almeno uno degli autori) degli articoli citati sono “ben inseriti” nel contesto internazionale della ricerca nel loro campo, che sono parte cioè del mainstream della ricerca, dicono poco invece sulla capacità della loro ricerca di contribuire in modo significativo al mainstream. Il fenomeno del ritardo delle citazioni in matematica sembra corrispondere, quindi, ad un funzionamento della ricerca scientifica meno condizionato dalla definizione a priori dei temi e dei problemi sui quali è opportuno lavorare. Osserviamo anche che i lavori di matematica sono poco citati, rispetto ai lavori in altre discipline. Anche in questo caso, se pensiamo a ricercatori che lavorano indipendentemente l’uno dall’altro, è naturale che si citino poco, anche in assoluto. Certamente molta ricerca in matematica (ed in altre discipline) arriva a risultati che rimangono fine a se stessi e che non vengono più utilizzati, che, per così dire, non riescono a contribuire al mainstream. Se l’autore di questi risultati non appartiene ad un “gruppo” il suo lavoro non sarà citato. In una comunità scientifica in cui prevalgono gli individui e non i “gruppi” molti lavori non saranno mai citati o saranno citati solo dai loro autori. Per contro le citazioni multiple e in special modo le citazioni precoci, non significano affatto che il lavoro citato contenga un contributo significativo allo sviluppo della scienza. Anche per quanto riguarda il numero delle citazioni saremmo portati a concludere, che la situazione “fisiologica”, per una scienza che è frutto di ricerche individuali ed autonome (come, purtroppo, non può essere tutta la scienza) è quella di produrre poche citazioni e che solo l’esistenza di ampi gruppi internazionali interessati alle stesse ricerche spiega l’alto numero di citazioni ed in particolare l’alto numero di citazioni precoci.

 Il valore predittivo dello IF

Come è noto lo IF di una rivista viene spesso usato per valutare la qualità degli articoli che vi sono pubblicati. Paradossalmente, il fatto stesso che questa valutazione sia diffusa o venga ritenuta diffusa ha contribuito a rendere desiderabile la pubblicazione di articoli su riviste di alto IF. Queste riviste hanno visto pertanto aumentare il numero di articoli presentati per la pubblicazione ed hanno avuto quindi la possibilità di scegliere i migliori articoli da un campione più vasto. Se questa possibilità è stata bene utilizzata, ha probabilmente anche migliorato la qualità degli articoli pubblicati sulla rivista. Si tratta di un effetto secondario dell’uso dell’IF come strumento di valutazione, che non si può tuttavia sottovalutare. Resta da chiedersi se, indipendentemente dall’effetto secondario appena descritto, è possibile parlare di un intrinseco valore predittivo dello IF. Il ragionamento alla base di una simile ipotesi dovrebbe essere che la qualità di un lavoro scientifico è in qualche modo misurata dal numero delle citazioni dell’articolo e che lo IF, che è la media di una distribuzione di citazioni, sia rappresentativo del numero di citazioni che hanno gli articoli della rivista. In realtà, come, già dal 1997, ha osservato Seglen, la distribuzione delle citazioni considerata per determinare lo IF è decisamente sghemba e pertanto la sua media fornisce pochissime informazioni sulla distribuzione stessa, ed infatti fornisce informazioni che possono essere fuorvianti. Nelle distribuzioni “normali”, in senso tecnico ed in senso intuitivo, la media dei valori è vicina ai valori più frequenti ed in posizione mediana rispetto a tutti i valori. Come ha osservato Seglen lo IF delle riviste è lontano dai valori più frequenti ed è in gran parte determinato da una esigua minoranza di lavori molto citati (nell’intervallo di tempo considerato). In queste condizioni nessuno scienziato serio considererebbe una media come rappresentativa della distribuzione dei valori, e forse, a seconda dei casi preferirebbe prendere in considerazione come valore rappresentativo la mediana o la moda, specialmente se questi valori coincidono (come vedremo avviene per la distribuzione delle citazioni di molte riviste di matematica).

Il documento della IMU esamina in dettaglio un caso particolare, quello di due riviste di matematica Proceedings of the American Mathematical Society (PAMS) e le Transactions of the American Mathematical Society (TAMS). Posso aggiungere che i comitati di redazione di queste riviste si propongono gli stessi standard di qualità per gli articoli destinati alla pubblicazione. La differenza è che PAMS accetta articoli fino a circa 11 pagine, mentre TAMS accetta articoli di qualsiasi lunghezza. Una conseguenza è che spesso gli articoli presentati vengono dirottati da una rivista all’altra in ragione della lunghezza degli articoli. Nei grafici che seguono sono riportate le distribuzioni delle citazioni nell’anno 2005 degli articoli pubblicati nei cinque anni precedenti. Calcolando lo IF su questa base risulta che PAMS ha un IF di 0,434 e TAMS un IF di 0,846. La tentazione, cui molti non resistono, è di dichiarare che i lavori pubblicati su TAMS valgono il doppio di quelli pubblicati su PAMS. I lavori di TAMS risultano infatti più citati, ma in ambedue i casi il valore più frequente per il numero delle citazioni per articolo è zero. Pure zero è il valore mediano, cioè oltre il 50% degli articoli non è mai citato nel periodo considerato.

 

talamanca3

 

talamanca4

Conoscendo le distribuzioni ci si può chiedere a questo punto qual è la probabilità che preso a caso un articolo di PAMS, nel periodo considerato, esso risulti essere non meno citato di un articolo di TAMS preso a caso, per lo stesso periodo. Cioè quale è la probabilità di sbagliarsi quando attribuiamo agli articoli di TAMS un valore (in termini di citazioni) maggiore di quello degli articoli di PAMS. A questa domanda si può dare una risposta facilmente. La probabilità di sbagliarsi è 62%. In altre parole sei volte su dieci un articolo di PAMS avrà almeno lo stesso numero di citazioni di un articolo su TAMS. Se ci pensiamo un momento non è un risultato sorprendente. Almeno un articolo su due di TAMS ha zero citazioni e pertanto non ha alcuna possibilità di superare il numero di citazioni di un articolo di PAMS. Il risultato del 62% appare quindi più che credibile. Il caso di queste due riviste non è isolato. Utilizzare lo IF di una rivista come surrogato del numero delle citazioni di un articolo non ha alcuna base razionale. Non si può utilizzare uno strumento di valutazione che fornisce informazioni errate nel 62% dei casi o anche solo nel 50% o nel 30% dei casi. Una volta chiarito che non ha alcun senso usare lo IF della rivista per contare le citazioni di un articolo, segue immediatamente che non ha alcun senso usare lo IF per valutare gli autori dell’articolo, i programmi in cui lavorano, e le discipline che rappresentano.

Le banche dati

Le statistiche sulle citazioni, ed i parametri che si basano su queste statistiche sono possibili perché esistono le banche dati, che raccolgono informazioni sugli articoli delle riviste scientifiche e sulle citazioni. Prima di tutto la banca dati della Thomson Scientific, ma anche quella di Google Scholar, Scopus, e naturalmente la banca dati di Mathematical Reviews, per la matematica. Sia Thomson Scientific che Google Scholar sono banche dati piuttosto inaffidabili. Gli autori non sono identificati univocamente per piccole variazioni dei nomi, o talvolta a seguito di diverse letture dello stesso nome. Lo stesso è vero degli articoli e delle riviste. Succede, ad esempio che si citi una rivista con un nome abbreviato, che può generare confusione con un’altra rivista in un campo totalmente diverso. Chi legge il lavoro non può sbagliarsi, perché in un lavoro di astronomia è difficile che si citi una rivista di allergologia e viceversa, ma la banca dati può sbagliare nell’attribuzione. Altri errori sono piuttosto comuni e risultano non rimediabili. È successo ad esempio che lo IF della rivista Geometry and Topology sia passato da 1,275 nel 2005 e 1,274 nel 2006 a 0,691 nel 2007, semplicemente per un errore nell’attribuzione delle citazioni.

Solo Math Reviews ha costruito una banca dati degli autori che permette di identificare con sicurezza gli autori (piuttosto che i loro nomi) e le istituzioni nelle quali lavorano. La banca dati di Math Reviews comprende le citazioni solo a partire dal 2000 (3 milioni di riferimenti bibliografici presi da circa 400 riviste). I dati sugli articoli di matematica, comprensivi anche di una recensione/sommario risalgono agli anni quaranta. Anche se l’inclusione delle citazioni nella banca dati è piuttosto recente, (per i lavori di matematica, che continuano ad essere citati per diversi decenni) la presenza di una banca dati completa ed affidabile ha reso più trasparenti tutte le scelte di merito, comprese quelle dei concorsi, che si svolgono in Italia o all’estero. Chi sente parlare di un candidato per una posizione o di un vincitore di concorso in ambito matematico, ha a disposizione un elenco delle sue pubblicazioni, aggiornato almeno ad un anno prima, corredato di indicazioni sui contenuti e talvolta anche di giudizi da parte del recensore. Può anche ricercare le citazioni degli ultimi otto anni, sulla base di una banca dati affidabile. Purtroppo tutto questo è disponibile, che io sappia, solo in ambito matematico. Tuttavia l’esperienza della American Mathematical Society ci dice che è possibile costruire banche dati affidabili dell’attività di ricerca. La creazione di una banca dati affidabile per la ricerca italiana potrebbe e forse dovrebbe essere un compito non eccessivamente costoso del del Ministero dell’Istruzione, Università e Ricerca. La base di questa banca dati esiste già ed è gestita dal CINECA. Si tratterebbe solo di partire da questa base, completarla e renderla pubblica, assicurando però la corretta identificazione degli autori, degli articoli e delle riviste. Su proposta degli interessati, e sotto la loro responsabilità potrebbero anche essere aggiunte le citazioni degli articoli contenuti nella banca dati, secondo uno schema informativo che dovrebbe essere predisposto da chi gestisce la banca dati. Questa operazione di trasparenza applicata al personale docente e di ricerca pubblico italiano, avrebbe un impatto molto superiore a tentativi di costruire indicatori numerici a partire da banche dati inaffidabili, esponendosi quindi a ricorsi e contestazioni.

 

______________________________________________________________________ 

NOTE

L’opinione del’IMU e dell’UMI è condivisa, almeno in parte, dagli informatici, come testimoniano i documenti Research Evaluation for Computer Science, Document of Informatics Europe: The Research and Education Organization of Computer Science and IT Departments in Europe:

http://www.informatics-europe.org/ECSS08/papers/Research_evaluation_CACM.pdf;

Best Practices Memo Evaluating Computer  Scientists and Engineers  or Promotion and Tenure,  Computing Research Association, Settembre 1999:

http://www.cra.org/reports/tenure_review.pdf.

Relativamente all’utilizzo dell’IF dobbiamo osservare che Thomson Scientific, l’azienda che calcola lo IF delle riviste, mette in guardia contro l’uso indiscriminato di questo parametro: «The impact factor should not be used without careful attention to the many phenomena that influence citation rates, as for example the average number of references cited in the average article. The impact factor should be used with informed peer review.» (Thomson Scientific website) http://scientific.thomson.com/free/essays/journalcitationreports/impactfactor/.

Il calcolo dell’IF delle riviste PAMS e TAMS e la distribuzioni delle citazioni riportate nel testo è stato effettuato usando la banca della Mathematical Reviews della American Mathematical Society, più completa di quella della Thomson Scientific per la matematica. Inoltre le distribuzioni rappresentate sono distribuite su 5 anni (2000-2004) anziché su due come nel calcolo usuale dello IF.

 

INDICAZIONI BIBLIOGRAFICHE

R. Adler, J. Ewing, P. Taylor, Citation Statistics, International Mathematical Union, International Council of Industrial and Applied Mathematics, Institute for Mathematical Statistics, June 2008.

http://www.mathunion.org/publications/report/citationstatistics/

P.O. Seglen, Why the impact factor for journals should not be used for evaluating research, in «BMJ», 314:497, 15 February 1997. http://www.bmi.com/cgi/content/full/314/7079/497.

 

 

Aggiungi commento


Codice di sicurezza
Aggiorna