Analisi dei Criteri di valutazione della ricerca … dei Criteri.pdflimitata operosità scientifica...
Transcript of Analisi dei Criteri di valutazione della ricerca … dei Criteri.pdflimitata operosità scientifica...
Analisi dei Criteri di valutazione della ricerca scientifica Paolo Masi – Vicepresidente del PSTV Introduzione Con questa analisi si vuole offrire ai membri del Consiglio alcuni elementi per la
valutazione dei criteri suggeriti dalla Commissione Ricerca del Polo delle Scienze e delle
Tecnologie per la Vita in base ai quali si è proceduto nel corso dell’e.f. 2002 alla
ripartizione delle risorse destinate alla ricerca scientifica. Accanto all’elaborazione
statistica dei dati forniti dalla dott.ssa Oriente sono riportate alcune considerazioni
personali sui dati ottenuti allo scopo di stimolare la riflessione e la discussione.
La prima parte dell’analisi fa riferimento al confronto fra la situazione che scaturisce
dall’applicazione dei nuovi criteri e quella che si sarebbe avuta mantenendo in vigore i
criteri precedenti. Attraverso questo confronto non si è voluto assolutamente
stabilire quale dei due criteri fosse il migliore. Piuttosto questo esercizio è stato fatto
per valutare se le variazioni che si sono avute nelle assegnazioni ai dipartimenti sono da
ascrivere al cambiamento dei criteri piuttosto che alle variazioni di operosità scientifica
dei dipartimenti.
Relativamente al primato di un criterio rispetto all’altro ritengo che poiché la validità dei
vecchi criteri non è stata fino od oggi mai dimostrata (anzi !) sarebbe un errore assumere
i vecchi criteri quale termine di paragone per valutare quelli nuovi proposti dalla
Commissione scientifica. Per giudicare se i nuovi criteri rispondono o meno alle esigenze
del Polo delle Scienze e delle Tecnologie per la Vita e quindi eventualmente decidere se
modificarli o non bisognerebbe, a mio avviso, tenere conto di altri elementi, ed in
particolare:
a) domandarsi se la metodologia di valutazione sia equa, se cioè essa consente di
derivare una scala di valori relativi dell’operosità scientifica delle diverse
1
strutture rispettosa della complessità delle attività oggetto della valutazione e
della diversità di strutture appartenenti a settori scientifici diversi;
b) domandarsi se la politica delle risorse che deriva dall’applicazione dei criteri sia
quella che meglio risponde alle esigenze del Polo e all’orientamento del
Consiglio.
Dare una risposta esauriente a queste domande non è semplice. Tuttavia si è ritenuto
utile fare almeno un tentativo in questa direzione per stimolare la discussione. A tal
proposito il documento recentemente approvato dal Consiglio Universitario Nazionale,
pur con le limitazioni sottolineate nella relazione di accompagnamento, per
l’autorevolezza della fonte, è stato adoperato come riferimento per una analisi critica dei
criteri in esame.
Elementi caratterizzanti i criteri di valutazione in vigore fino al 2002 (delibere
Senato accademico n.18 del 17/9/99 e n. 22 del 15/10/99)
I criteri in vigore fino all’e.f. 2002 prevedevano:
a) Suddivisione dei Dipartimenti in due aree:
Tecnico – Scientifica
Giuridico – Umanistica
b) Suddivisione delle risorse da attribuire (2700 ml) in due aliquote:
Ricerca individuale (606 ml)
Ricerca dipartimentale (2094 ml)
c) Attribuzione delle risorse:
Ricerca individuale: fra tutti i componenti dei Dipartimenti adoperando per i prof.
Ordinari un coefficiente 1, per i prof. Associati un coefficiente 0,7 e per i
Ricercatori un coefficiente 0,49;
Ricerca dipartimentale: in proporzione al punteggio ottenuto da ciascun
dipartimento in base agli indicatori riportati in Tabella 1.
2
Elementi caratterizzanti i criteri di valutazione in vigore a partire dal 2002
I criteri in vigore a partire dall’e.f. 2002 prevedono:
a) Nessuna suddivisione fra i dipartimenti appartenenti al Polo
b) Suddivisione delle risorse da attribuire (2700 ml) in due aliquote
Ricerca individuale (810 ml)
Ricerca dipartimentale (1890 ml)
c) Attribuzione delle risorse
Ricerca individuale: fra tutti i componenti dei Dipartimenti senza distinzione
alcuna fra prof. Ordinari, prof. Associati e Ricercatori;
Ricerca dipartimentale: 70 % in proporzione al punteggio ottenuto da ciascun
dipartimento in base agli indicatori (voce A) riportati in Tabella 2, 30% in
proporzione al punteggio ottenuto da ciascun dipartimento in base agli indicatori
(voce B) riportati in Tabella 2.
Principali elementi di differenziazione fra i criteri in vigore (2002) e quelli
precedenti (2001)
Dal confronto delle caratteristiche dei due criteri si ricava che le principali differenze
riguardano:
l’innalzamento della quota individuale che passa da 606 ml a 810 ml;
l’abolizione della distinzione fra le diverse fasce dei docenti appartenenti ai
dipartimenti,
la modifica di alcuni indicatori per la determinazione del punteggio;
la modifica del peso relativo del punteggio attribuito ai diversi indicatori.
3
In particolare:
è stato posto un limite al numero di comunicazioni a congressi (cfr. A12 vecchi
criteri);
viene eliminata la distinzione fra autore di un libro ed editore di un libro (cfr. A3 e
A4 vecchi criteri)
viene introdotto come indicatore Convenzioni e Contratti con enti pubblici e privati (cfr.
B2 nuovi criteri);
viene introdotto come indicatore la responsabilità di Unità Operative (cfr. B5
nuovi criteri).
In tabella 3 è stato fatto il confronto fra il peso relativo dei punteggi degli indicatori dei
vecchi e dei nuovi criteri. Adoperando la simbologia delle tabelle 1 e 2 sono evidenziate
le corrispondenze fra gli indicatori usati dai nuovi e quelli dai vecchi criteri ed il
punteggio che ad essi viene attribuito nelle due diverse situazioni. Per agevolare il
confronto con gli indicatori contenuti nella tabella proposta dal CUN tutti i punteggi
sono stati espressi in centesimi. I punteggi relativi alla voce B sono stati scalati
moltiplicandoli per il coefficiente 3/7. Mettendo a confronto i vecchi ed i nuovi criteri
si osserva che relativamente agli indicatori appartenenti alla voce A le maggiori variazioni
riguardano i capitoli di libri il cui valore relativo è stato dimezzato. Considerando la
valutazione bibliometrica proposta dal CUN si vede che questa tipologia di prodotto
bibliografico è assente nelle aree delle Scienze naturali e biologiche e della Biologia
molecolare ma rappresenta un importante mezzo di diffusione scientifica per le restanti
aree (agraria, medicina e scienze veterinarie ed in misura minore chimica). Per quanto
riguarda, invece, gli indicatori della voce B il loro peso relativo si riduce in molti casi di
ben oltre il 50% per effetto del fattore di scala 3:7 della voce B rispetto alla voce A. Pur
essendo interessante, una analisi più dettagliata sulla base della valutazione bibliometrica
del CUN essa risulta alquanto complessa vista la numerosità degli indicatori da prendere
in esame. Vale la pena però rilevare che alcuni degli indicatori che sono stati adoperati
4
per effettuare la valutazione dell’operosità scientifica dei dipartimenti non sono presenti
nella tabella proposta dal CUN (come ad esempio i dottorati) mentre altri, pur essendo
inclusi nella tabella CUN, hanno un peso irrilevante per le aree scientifiche presenti nel
nostro Polo (vedi ad esempio: organizzazione di convegni nazionali). Si osserva, ancora,
che l’importanza relativa data nei criteri in vigore ad alcune attività è inversa rispetto a
quella proposta dal CUN (vedi ad esempio i brevetti per cui il CUN attribuisce maggiore
rilievo a quelli nazionali rispetto a quelli internazionali).
Effetti delle variazioni apportate ai criteri di valutazione sulla distribuzione delle risorse
Per rendere più agevole la lettura dei grafici che verranno presentati in seguito la
denominazione dei dipartimenti è stata sostituita con una sigla che è stata assegnata
facendo riferimento alle macro aree scientifiche contenute nel documento del CUN. La
corrispondenza fra sigle e denominazione di ciascun dipartimento è riportata nella
tabella 4.
In figura 1 viene mostrata quale influenza ha avuto la soppressione dei coefficienti
assegnati alle tre diverse fasce dei docenti sulla ripartizione complessiva delle risorse
attribuite ai dipartimenti. Per valutare questo dato è stata calcolata la differenza
percentuale fra le assegnazioni che sono state fatte in base ai criteri 2002 e le
assegnazioni che sarebbero state fatte se gli 810 ml destinati alla ricerca individuale
fossero stati ripartiti tenendo conto dei diversi coefficienti attribuiti alle tre fasce dei
docenti (criteri precedenti). Con qualche eccezione si osservano variazioni in aumento
per i dipartimenti dell’area della medicina per i quali il rapporto ricercatori/docenti è
elevato e variazioni in diminuzione per i dipartimenti delle altre aree.
In figura 2 sono mostrate le variazioni dovute all’aumento delle risorse destinate alla
ricerca individuale. Per valutare questo dato si è calcolata la differenza percentuale fra le
assegnazioni che sono state fatte in base ai criteri 2002 e le assegnazioni che sarebbero
5
state fatte se invece di 810 ml fossero stati destinati alla ricerca individuale 606 milioni
(vecchi criteri) ripartiti secondo i nuovi criteri e cioè senza fare distinzione fra le tre fasce
dei docenti. Con qualche eccezione si osservano variazioni positive per i dipartimenti di
dell’area dell’agraria, delle scienze veterinarie e di gran parte dell’area della medicina
mentre si hanno variazioni negative per i dipartimenti appartenenti all’area chimica e alle
due aree biologiche. Le variazioni positive si hanno per quei dipartimenti per cui la
somma attribuita alla ricerca individuale rappresenta oltre il 30% dell’attribuzione
complessiva. Per i dipartimenti per cui la ricerca individuale è poco significativa rispetto
all’attribuzione totale si hanno variazioni negative.
In figura 3 sono riportate le variazioni causate dalla combinazione di entrambe le
modifiche introdotte dai nuovi criteri. Per valutare questa informazione si è calcolata la
differenza percentuale fra le assegnazioni che sono state fatte in base ai criteri 2002 e le
assegnazioni che sarebbero state fatte se invece di 810 ml fossero stati destinati alla
ricerca individuale 606 milioni ripartiti secondo i vecchi criteri tenendo cioè conto della
distinzione fra le tre fasce dei docenti. L’effetto combinato delle due modifiche
apportate ai criteri per la ripartizione delle risorse destinate alla ricerca individuale non
generano grosse variazioni nelle assegnazioni dei dipartimenti. Infatti se si considerano
rilevanti le variazioni al di sopra o al di sotto del 10% si osserva che solo per tre
dipartimenti dell’area della medicina si hanno variazioni in aumento significative mentre
non si hanno variazioni in diminuzioni di sensibile entità. In pratica si può ritenere che
solo per tre dipartimenti si ha contemporaneamente un alto rapporto ricercatori/docenti
ed una elevata incidenza della ricerca individuale sulle risorse complessivamente ad essi
attribuite.
Una ulteriore informazione che potrebbe risultare utile nell’ambito della discussione
riguarda la ripercussione che una eventuale soppressione della ricerca individuale
avrebbe sulle attribuzioni dei dipartimenti. In figura 4 sono mostrate le variazioni
percentuali delle risorse attribuite ai dipartimenti sulla base dei nuovi criteri e quelle che
6
sarebbero state attribuite se fosse stata eliminata del tutto la ricerca individuale. Si può
notare che ad eccezione dei dipartimenti delle due aree biologiche e di alcuni
dipartimenti dell’area agraria e della medicina, per tutti gli altri dipartimenti la presenza
della quota individuale determina variazioni in aumento che in alcuni casi superano il
20%. La considerazione che nasce più immediata circa l’eventuale soppressione della
ricerca individuale è che essa avrebbe ripercussioni negative sulla maggior parte dei
dipartimenti del Polo. Questa considerazione merita però un approfondimento.
Apparentemente il mantenimento della ricerca individuale funge da ammortizzatore nei
confronti di quei dipartimenti che se venisse se venisse considerata solo la produzione
scientifica si troverebbero in difficoltà. Se però si considera l’elevato numero dei
dipartimenti interessati (20 su 32) è lecito domandarsi se effettivamente la produttività
scientifica di tanti dipartimenti sia così bassa o se piuttosto essa è sottovalutata dalla
metodologia di valutazione attualmente in vigore. Inoltre se la realtà del nostro Polo è
realmente questa con pochi dipartimenti con elevata operosità e molti dipartimenti con
limitata operosità scientifica allora sarebbe giusto valutare l’opportunità di destinare il
30% delle risorse ad una distribuzione a pioggia come di fatto è la ricerca individuale e
come questa distribuzione possa aiutare i dipartimenti ad uscire da difficoltà strutturali o
a motivare i ricercatori ad implementare la loro operosità.
Passando all’esame delle risorse destinate alla ricerca dipartimentale l’analisi della tabella
3 suggerisce che le variazioni che si sono registrate possono essere ricondotte alla
variazione del peso relativo di alcuni indicatori nel passaggio dai vecchi ai nuovi criteri.
La figura 5 mostra le variazioni percentuali delle assegnazioni ai dipartimenti
limitatamente alla quota assegnata alla ricerca dipartimentale. Le variazioni sono state
calcolate considerando le assegnazioni fatte in base ai nuovi criteri rispetto a quelle che si
sarebbero avute se la ripartizione delle risorse fosse avvenuta in base ai vecchi criteri
usando cioè i della tabella 1 senza fare distinzione alcuna fra voce A e voce B. In
generale si può osservare che i nuovi criteri portano a variazioni negative per molti
dipartimenti dell’area agraria, dell’area economica e dell’area della medicina. Per valutare
7
questa informazione si consideri che i nuovi criteri hanno ridotto il peso relativo della
maggior parte degli indicatori fatto salvo quello attribuito agli articoli ISI. I dati riportati
in figura 5 portano quindi a concludere che l’attività scientifica della maggior parte delle
strutture del Polo si estrinseca attraverso modalità diverse dalla pubblicazione dei
risultati su riviste ISI. La realtà del nostro Polo sembrerebbe quindi indicare che questo
tipo di indicatore bibliometrico pur essendo importante da solo non riesce a fotografare
l’effettiva attività scientifica svolta nei vari ambiti, cosa del resto evidenziata dall’analisi
bibliometrica effettuata dal CUN proprio per le aree dove si osservano le maggiori
variazioni negative.
Per completare il confronto fra i due criteri di valutazione in figura 6 sono state
riportate le variazioni percentuali fra le risorse attribuite secondo i criteri in vigore nel
2002 rispetto a quelle che sarebbero state attribuite se fossero restati in vigore i
precedenti criteri. Come si può vedere salvo qualche eccezione le variazioni sia positive
che negative non eccedono il 20%. I dipartimenti di area chimica e quelli appartenenti
all’area delle scienze veterinarie registrano tutti una variazione positiva. Per i dipartimenti
dell’area della medicina alcuni variano le proprie risorse in aumento altri in diminuzione.
Per i dipartimenti appartenenti all’area dell’agraria tutti, tranne uno, registrano variazioni
negative e così pure negativa è la variazione del dipartimento dell’area economica. Infine
per le due aree biologiche uno solo dei dipartimenti registra sensibili variazioni positive.
Apparentemente l’introduzione dei nuovi criteri non ha comportato grosse variazioni
nelle attribuzioni dei fondi per la ricerca ai dipartimenti. Bisogna però considerare che
l’attribuzione complessiva scaturisce dalla somma di due aliquote: quella destinata alla
ricerca individuale e quella destinata alla ricerca dipartimentale. Prese singolarmente
entrambe le aliquote risentono delle variazione apportate dai criteri nelle modalità di
distribuzione, il loro effetto discorsivo rispetto ai criteri antecedenti si compensa (come
più volte ribadito dall’amico Ludovico si è avuto l’effetto: chesto va pé cchello).
8
Come è stato già sottolineato in apertura questa analisi non voleva dimostrare la
supremazia di un criterio rispetto all’altro solo esaminarne le conseguenze. Il fatto che le
risorse vengano ripartite in maniera più o meno analoga applicando i due criteri non
significa ch’essi sono entrambi validi, potrebbero essere entrambi non validi. Penso che
il problema non sia quello di dare risorse in più o in meno ad una struttura
dipartimentale attraverso meccanismi di compensazione quanto ripartire le risorse in
maniera “criteriata” attraverso meccanismi di valutazione che soprattutto trovino il
consenso possibilmente unanime di chi poi verrà sottoposto alla valutazione.
Considerazioni di carattere generale sui criteri di valutazione della ricerca
Come accennato nelle premesse si è ritenuto utile ai fini della discussione completare
questa breve analisi con delle considerazioni circa i due quesiti posti nella premessa
introduttiva, ovvero:
a) la effettiva capacità descrittiva dei criteri dell’operosità scientifica delle strutture
afferenti al Polo;
b) come essi si riflettono sulla politica delle risorse.
Per quanto riguarda il primo punto premetto che è mio personale convincimento che la
metodologia per valutare l’operosità scientifica delle strutture afferenti all’Ateneo
dovrebbe essere la stessa non potendosi immaginare che per valutare strutture
appartenenti ad una medesima area scientifica si adoperino metri di valutazione diversi
(vedi ad esempio la situazione dei dipartimenti del Polo appartenenti all’area Chimica,
all’area delle Scienze Naturali Biologiche, all’area delle Scienze Biologiche Molecolari e
all’area dell’Economia, aree che sono presenti anche negli altri due Poli), mentre la
politica delle risorse potrebbe legittimamente essere diversa per ogni Polo.
Entrando in merito alla metodica di valutazione della ricerca scientifica, essa rappresenta
uno strumento per definire una scala di valori relativi fra le diverse strutture
9
appartenenti al Polo. Poiché tali strutture appartengono ad aree scientifico-disciplinari
diverse, gli indicatori che vanno adoperati per la valutazione dovrebbero quindi servire a
misurare l’operosità dei ricercatori delle diverse strutture e non già a valutare la qualità
dei risultati scientifici da essi ottenuti. La valutazione della qualità della ricerca scientifica
infatti può essere fatta solo in ambiti ristretti ed omogenei che, il più delle volte, sono
addirittura più ristretti degli stessi raggruppamenti scientifico-disciplinari.
I criteri proposti dalla Commissione scientifica, in analogia con quanto suggerito nel
documento varato dal CUN, prendono in esame le attività verificabili sia oggetto di
pubblicazioni che non. I vari coefficienti attribuiti dal Consiglio scientifico ai diversi
indicatori proposti per valutare l’operosità scientifica delle diverse strutture, per quanto
appena detto, vanno intesi come una misura dell’impegno relativo profuso dai
ricercatori per produrre il materiale bibliografico o per espletare le attività editoriali e di
coordinamento della ricerca oggetto della valutazione.
La Commissione scientifica nell’elaborare i criteri è partita dall’assunto che tutte le
strutture afferenti al Polo delle Scienze e delle Tecnologie per la Vita sono, per quanto
attiene la ricerca scientifica, fra loro omogenee e di conseguenza ha proposto un unico
metro di valutazione valido per tutte le aree scientifiche. Questa ipotesi alla base dei
criteri elaborati dalla Commissione scientifica contrasta nettamente con quanto invece
viene riportato nel documento elaborato dal CUN dove viene evidenziato che per le
diverse aree esistono differenti prassi di pubblicizzazione dei risultati dell’attività di
ricerca e che per uno stesso prodotto della ricerca nell’ambito delle diverse aree vi è un
diverso impegno necessario a produrre quel risultato.
Analizzando in dettaglio la tabella elaborata dal CUN (che per comodità di lettura è stata
riprodotta in Tabella 5 limitatamente alle aree di interesse del nostro Polo) si osserva
che per quasi tutti i prodotti bibliografici e le attività di coordinamento considerate dalla
nostra Commissione ai fini della valutazione dell’operosità scientifica dei dipartimenti
10
viene attribuito dal CUN un peso relativo molto diverso fra le diverse aree scientifiche
cui fanno capo le strutture del Polo. Se si considerano ad esempio gli articoli su riviste
ISI il cui punteggio costituisce la parte preponderante del punteggio complessivo
attribuito a ciascun dipartimento, si nota che la suddivisione in decili penalizza alcune
aeree rispetto ad altre. In particolare viene sottostimato l’impegno di quei ricercatori
appartenenti alle aree cui corrisponde un intervallo di variazione secondo il rilevamento
bibliometrico del CUN più ristretto. L’indagine CUN indica che per certe aree
scientifiche un basso IF è in relazione alla ristretta diffusione editoriale della rivista
(attività scientifica di interesse di una ristretta platea) e non ad uno scarso rigore nella
selezione dei lavori che vengono pubblicati (minore impegno da parte degli autori a
produrre il lavoro). Adoperando una scala di valutazione in decili si ha che l’impegno
profuso per pubblicare un articolo su riviste appartenenti alla fascia bassa di valori
dell’IF è 1/10 rispetto a quello profuso per pubblicare un articolo sulla riviste avente l’IF
più alto della categoria in esame. Viceversa secondo il CUN ciò è più o meno vero solo
per alcune aree. Per altre aree, diverse delle quali di interesse del nostro Polo, posto pari
a 100 l’impegno profuso per pubblicare un articolo sulla rivista con il più alto IF, la
pubblicazione di un articolo sulla rivista col più basso IF della categoria può richiedere
un impegno che l’analisi fatta dal CUN reputa pari non a 1/10 ma 3, 4 volte più alto.
Degna di attenzione è la situazione del settore dell’economia, oggetto di ampia
discussione nell’ambito del Consiglio, per il quale il CUN non prevede alcuna scala di
valutazione degli articoli su riviste ISI, segno che la diffusione editoriale di quest’area
avviene attraverso canali diversi dalle riviste ISI. A conferma di ciò si osservi il peso
relativo attribuito per quest’area agli articoli su altre riviste o libri ISS/SBN sia a
diffusione internazionale che nazionale per i quali si riconosce un impegno comparabile
a quello profuso nelle altre aree per pubblicare un articolo su riviste ISI. Lo stesso, anche
se in misura inferiore, si verifica per altre aree come la Medicina, l’Agraria e le Scienze
Veterinarie. Escludere quindi dalla valutazione tutti quei lavori pubblicati su riviste non
ISI, come è stato fatto in base ai nuovi criteri, appare penalizzante così come è
11
altrettanto penalizzante l’ipotesi suggerita dalla Commissione di considerare due sole
riviste non ISI per ogni categoria non presente nell’elenco ISI.
L’esame della tabella 5 consente di fare altre considerazioni circa i criteri proposti dalla
Commissione scientifica. La prima riguarda la difficoltà di interpretazione di alcuni
indicatori incontrata in sede di applicazione dei criteri da parte della Commissione
consiliare che ha coadiuvato la dott.ssa Oriente e già segnalata al Consiglio. Come si può
costatare ad alcuni indicatori proposti dalla Commissione scientifica corrispondono
nell’elenco dettagliato stilato dal CUN più prodotti bibliografici. La genericità nella
formulazione degli indicatori ha indotto una certa confusione e talvolta per decidere se
un prodotto bibliografico doveva essere considerato o meno ai fini della valutazione si è
operato con troppa discrezionalità.
La seconda considerazione che scaturisce mettendo a confronto la tabella del CUN con
quella dei criteri attualmente in vigore riguarda il limitato numero di prodotti
bibliografici, attività editoriali e di coordinamento considerate dalla Commissione
scientifica rispetto a quelle prese in esame dal CUN. Per alcune aree si nota che
l’impegno relativo attribuito ad alcune tipologie di prodotto non contemplate dai criteri
proposti dalla Commissione è commisurabile a quello di altre tipologie di prodotti
incluse nei criteri. Per meglio evidenziare questo punto a partire dalla tabella 5 è stata
elaborata la tabella 6 in cui sono state riportate solo quelle voci bibliometriche alle quali
il CUN ha attribuito un valore uguale o superiore a 20. Pur avendo eliminato diversi
indicatori il loro numero resta molto superiore rispetto a quelli adoperati attualmente per
misurare l’operosità scientifica dei dipartimenti.
La mia personale opinione è che i criteri proposti dalla Commissione scientifica diano
un peso eccessivo agli articoli su riviste ISI sottostimando o trascurando del tutto altre
prassi di pubblicizzazione dei risultati dell’attività di ricerca, che per alcune aree sono
12
altrettanto valide ed importanti che gli articoli su riviste ISI. La scala di valutazione che
discende dai criteri in vigore per stimare l’operosità scientifica delle diverse strutture del
Polo risulta per questo distorta, amplificando l’operosità scientifica di alcune aree (quelle
che adoperano come principale mezzo di divulgazione delle loro ricerche le riviste ISI) e
deprimendo quella delle altre che, così come avviene per strutture analoghe in campo
nazionale, adoperano altri validi canali di diffusione editoriale.
Il secondo quesito cui si è cercato di dare risposta o meglio dare informazioni che
possano essere utili ai fini della discussione riguarda gli effetti dei criteri attualmente in
vigore sulla politica della distribuzione delle risorse. A differenza della situazione
precedente in cui il documento CUN costituiva, con tutte le limitazioni, un metro di
giudizio, in questo caso non è possibile individuare un punto di riferimento se non rifarsi
a quanto a tal proposito riportato dal Rettore nelle sue riflessioni programmatiche per il
rettorato, dove si invitava a …premiare sia i risultati che gli sforzi (perché ) una politica delle
risorse che premi solo i risultati conseguiti finisce col creare un gruppo di soggetti eccellenti ed un altro
gruppo di soggetti che mai riusciranno ad eccellere, nonostante gli sforzi. Aggiungendo, inoltre, che
è opportuno motivare coloro che stanno più indietro (perché) l’obiettivo della valutazione deve essere
il miglioramento continuo dell’organizzazione universitaria per cui le parti più deboli del sistema vanno
trattate come casi speciali, a cui dedicare particolare cura e destinare anche risorse per migliorare (G.
Trombetti, Riflessioni programmatiche per il Rettorato 2001-2006, pp. 20, 21).
Per valutare come le risorse destinate alla ricerca scientifica sono state distribuite in base
ai criteri proposti dalla Commissione scientifica è stata elaborata la curva di figura 7 che
illustra come le risorse sono state distribuite in funzione dell’operosità dei dipartimenti.
In figura 7 sulle ordinate è stata riportata la variazione percentuale del punteggio medio
di ciascun dipartimento (punteggio/numero di componenti) rispetto al punteggio medio
del Polo (sommatoria dei punteggi dei dipartimenti/numero dei componenti del Polo) e
sulle ascisse è stata invece riportata la variazione percentuale delle risorse assegnate a
ciascun componente di un dipartimento (risorse attribuite al dipartimento/numero di
13
componenti) rispetto all’attribuzione media (totale risorse attribuite/ numero dei
componenti del Polo) del Polo. Come si vede si ottiene una correlazione perfettamente
lineare con pendenza inferiore ad uno (0,6856). Si noti che se si fosse considerata solo la
quota delle risorse destinata alla ricerca dipartimentale la retta avrebbe avuto pendenza
unitaria. La minore pendenza è da attribuire alla incidenza della quota individuale che
porta i dipartimenti con una operosità inferiore alla media a ricevere risorse maggiori di
quelle che avrebbero ricevuto in base ad un rigoroso principio di proporzionalità basato
sull’operosità. Per contro i dipartimenti con operosità più elevata della media ricevono
meno risorse di quelle che avrebbero ricevuto se fosse stata rispettata detta
proporzionalità.
In linea di massima si può quindi dire che la politica delle risorse che deriva
dall’applicazione dei criteri proposti dalla commissione tende a non penalizzare
eccessivamente i dipartimenti che hanno una bassa operosità scientifica a scapito di
quelli che hanno una elevata operosità. In linea di principio questa politica potrebbe
essere in linea con l’obiettivo di agevolare quei dipartimenti che si trovano in difficoltà.
Ancora una volta però, prima di poter esprimere un giudizio in merito a questa
situazione, bisognerebbe essere sicuri che la scala di operosità adoperata sia in grado di
cogliere le reali differenze fra i vari dipartimenti. Una volta accertato questo fatto sarà
possibile valutare se per aiutare i dipartimenti in difficoltà o per motivare i componenti
di questi dipartimenti a incrementare la loro operosità sia o meno opportuno agire in
modo generalizzato o non sia più adeguato mirare gli interventi cercando di rimuovere
gli ostacoli strutturali che limitano l’attività di ricerca (per esempio favorendo
l’ammodernamento ed il mantenimento delle apparecchiature scientifiche) e motivare i
componenti premiando ad esempio chi migliora pur senza raggiungere immediatamente
l’eccellenza.
14
Tabella 1: INDICATORI PER LA VALUTAZIONE DEL PUNTEGGIO DEI DIPARTIMENTI - CRITERI 2001 Indicatore sottoclasse punteggio
A1 Pubblicazioni
IF convertito in decili
A2 Partecipazione ad Editorial Board
2xIF in decili x docente
A3 Libri scientifici, prodotti multimediali, carte geologiche A3.1 internazionali 10
A3.2 nazionali 5 A4 Capitolo di libri, catologhi, mostre A4.1 internazionali 5 A4.2 nazionali 2
A4.3 internazionali editor 5
A4.4 nazionali editor 2
A5 Convegni e mostre organizzate dalla struttura A5.1 internazionali 5
A5.2 nazionali 2 A5.3 come chairman 2
A5.4
in Adv. Board non organizzati dalla struttuara 5
A6 Relazioni a congresso su invito A6.1 internazionali 4 A6.2 nazionali 1 A7 Direzione progetti scientifici di interesse: A7.1 internazionale 10 A7.2 nazionale 5
A8 Partecipazione consigli scientifici, giurie di progetti o mostre 5
A9 Pubblicazione diretta di riviste da parte della struttura 10
A10 Dottorandi indipendentemente dal ciclo 5 A11 Brevetti A11.1 internazionali 20 A11.2 nazionali 2
A12 Presentazioni a congressi di comunicazioni scientifiche A12.1 internazionali 0,3
A12.2 nazionali 0,1
15
Tabella 2: INDICATORI PER LA VALUTAZIONE DEL PUNTEGGIO DEI DIPARTIMENTI - CRITERI 2002 2002 Indicatore sottoclasse punteggio
A1 Pubblicazioni IF convertito in decili
A1.2 internazionali 0,3
Presentazioni a convegno (in numero non superiore al doppio delle pubblicazioni) A1.3 nazionali 0,1
A2 Capitolo di libri, carte geotematiche A2.1 internazionali 2 A2.2 nazionali 1
A2.3 internazionali editor 5 A2.4 nazionali editor 2 A3 Brevetti A3.1 internazionali 20 A3.2 nazionali 5
B1 Partecipazione ad Editorial Board 2xIF in decili x docente
B2 Convenzioni e contratti con enti pubblici e privati B2.1 fino a 30 ml 0,5 B2.2 fino a 200 ml 1 B2.3 oltre 200 ml 2
B3 Convegni e mostre organizzate dalla struttura B3.1 internazionali 5 B3.2 nazionali 2 B3.3 come chairman 0,5
B3.4
in Adv. Board non organizzati dalla struttuara 0,5
B4 Relazioni a congresso su invito B4.1 internazionali 3 B4.2 nazionali 1 B5 Direzione progetti scientifici di interesse: B5.1 internazionale 10 B5.2 nazionale 5 e responsabile di Unità Operativa B5.3 internazionali 5 B5.4 nazionali 3
B6 Partecipazione consigli scientifici, giurie di progetti o mostre 2
B7 Pubblicazione diretta di riviste da parte della struttura 5
B8 Dottorandi indipendentemente dal ciclo 5
16
Tabella 3: pesi relativi punteggi criteri 2002 e 2001 2002 punteggio 2001 punteggio 2002 2001
A1
IF convertito in decili A1
IF convertito in decili 100 - 10 100- 10
A1.2 0,3 A12.1 0,3 3 3 A1.3 0,1 A12.2 0,1 1 1 A2.1 2 A4.1 5 20 50 A2.2 1 A4.2 2 10 20 A2.3 5 A4.3 5 50 50 A2.4 2 A4.4 2 20 20 A3.1 20 A11.1 20 200 200 A3.2 5 A11.2 2 50 20
B1
2xIF in decili x docente A2
2xIF in decili x docente 86 - 9 200 - 20
B2.1 0,5 2 0 B2.2 1 4 0 B2.3 2 9 0 B3.1 5 A5.1 5 21 50 B3.2 2 A5.2 2 9 20 B3.3 0,5 A5.3 2 2 20 B3.4 0,5 A5.4 5 2 50 B4.1 3 A6.1 4 13 40 B4.2 1 A6.2 1 4 10 B5.1 10 A7.1 10 43 100 B5.2 5 A7.2 5 21 50 B5.3 5 21 0 B5.4 3 13 0 B6 2 A8 5 9 50 B7 5 A9 10 21 100 B8 5 A10 5 21 50
17
Tabella 4 Corrispondenza fra sigle e denominazione dei dipartimenti
sigla NOME DIPARTIMENTO
AGR-1 Scienze chimico-agrarie AGR-2 Scienza degli alimenti AGR-3 Scienze agronomiche e genetica vegetale AGR-4 Arboricoltura, botanica e patologia vegetale AGR-5 Ingegneria agraria e agronomia del territorio AGR-6 Scienze zootecniche ed ispez.alimenti AGR-7 Entomologia e zoologia agraria CHIM-1 Chimica delle sostanze naturali CHIM-2 Chimica farmaceutica e tossicologica MED-1 Pediatria MED-2 Endocrinologia ed oncologia molecolare e clinica MED-3 Medicina clinica e sperimentale MED-4 Medicina clinica, scienze cardiovascolari e immunologiche MED-5 Patologia sistematica MED-6 Scienze neurologiche MED-7 Scienze biomorfologiche e funzionali MED-8 Scienze odontostomatologiche e maxillo-facciali MED-9 Neuroscienze e scienze del comportamento MED-10 Scienze oftalmologiche MED-11 Scienze mediche preventive MED-12 Scienze ostetrico-ginecologiche e medicina della riproduzione MED-13 Chirurgia generale, geriatrica, oncologica e tecnologie avanzate MED-14 Medicina pubblica e della sicurezza sociale MED-15 Scienze chirurgiche,anestesiologiche-rianimatorie e dell'emergenza MED-16 Scienze chirurgiche,ortopediche,traumatologiche ed emergenze SBM-1 Biologia e patologia cellulare e molecolare "L. Califano" SBM-2 Biochimica e biotecnologie mediche SE-1 Economia e politica agraria
SNB-1 Farmacologia sperimentale SVET-1 Patologia e sanità animale SVET-2 Scienze cliniche veterinarie SVET-3 Strutture, funzioni e tecnologie biologiche
18
Tabella 5
criteri 2002 codice
criteri 2002 punteggio CHIMICA
SC. NAT. BIOL.
SC. BIOL. MOLEC. MEDICINA AGRARIA
SC. ECONOM.
SC. VETER.
libri e periodici multimediali
Libri scientifici in collane editoriali a diffusione nazionale 50 25 25 20 65 80 65Libri scientifici in collane editoriali a diffusione internazionale 75 100 100 60 100 100 100Libri di alta divulgazione, trattati 40 50 40 40 40Monografie enciclopediche 10 10 20 20 0 40Articoli in o capitoli di libro scientifico in collane editoriali a diffusione nazionale A2.2 10 15 20 35 40 35Articoli in o capitoli di libro scientifico in collane editoriali a diffusione internazionale A2.1 20 25 40 50 50 50Traduzione di libri 5 10 10 0 10Recensioni critiche e rassegne 5 5 5 0 5Prefazioni 5 5 5 0 5Voci enciclopediche 5 10 10 12 10Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali con revisori 5 10 60 40 60Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali con revisori 10 30 80 60 80Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali senza revisori 10 5 30 25 30Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali senza revisori 10 10 50 40 50Realizzazione di prodotti scientifici multimediali (incluso software) ideatore 50 50 20Realizzazione di prodotti scientifici multimediali (incluso software) collaboratore 25 30 6Articoli su riviste ISI A1 100-10 100-30 100-15 100-20 100-20 100-40 65-40
Articoli su altre riviste o libri ISS/ISBN
Articoli su altre riviste a diffusione nazionale con revisori 20 5 5 10 20 65 20Articoli su altre riviste a diffusione internazionale con revisori 10 10 10 30 40 90 30Articoli su altre riviste a diffusione nazionale senza revisori 15 5 10 12 10Articoli su altre riviste a diffusione nazionale senza revisori 5 5 20 20 20Articoli su riviste scientifiche di interesse locale 10 10 0 10
Abstract e riassunti
Abstracts su Index Medicus e/o Science Citation Index con revisori 5 5Abstracts su Index Medicus e/o Science Citation Index senza revisori 3Abstract su Current Contents 3 5Riassunti/abstracts congresso nazionale 1 5 5 1 1Riassunti/abstracts congresso internazionale 2 7 7 5 3 3
Atti di Congressi e ConferenzeArticolo su atti di convegni nazionali con revisori: articolo su invito 10 15 15 5 10 20 5Articolo su atti di convegni nazionali senza revisori: articolo su invito 3 7 7 5 8 6 8Articolo su atti di convegni internazionali con revisori: articolo su invito 25 20 20 20 40 25 10
Articolo su atti di convegni internazionali senza revisori: articolo su invito 5 15 15 10 8 12 8
Articolo su atti di congressi nazionali o di società nazionali con revisori. 5 10 10 10 10 40 10Articolo su atti di congressi nazionali o di società nazionali senza revisori. 3 5 5 5 15 25 15Articolo su atti di congressi internazionali o di società internazionali con revisori. 25 15 15 20 40 60 40Articolo su atti di congressi internazionali o di società internazionali senza revisori. 10 7 7 5 15 40 20
Rapporti
Rapporti di ricerca di interesse nazionale pubblicati da Enti, disponibili al pubblicoRapporti di ricercva di interesse internazionale pubblicati da Enti, disponibili al pubblico 10Pubblicazioni di rapporti interni/rapporti di ricerca 7
Prodotti specifici di area
Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche con monografia 40 50 50Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche senza monografia 40 20 20
Carte geologiche e/o tematiche riassuntive o derivate con monografia 25 25
Carte geologiche e/o tematiche riassuntive o derivate senza monografia 15 15
Attività editoriali
A2.1/A2.2 20 - 10
B4.2 4
B4.1 13
A1.3 (non più del
doppio di A1)
A1.2 (non più del
doppio di A1)
1
3
Editor di riviste scientifiche a diffusione nazionale 10 20 20 30 20 50 20Editor di riviste scientifiche a diffusione internazionale 20 70 70 70 40 75 40Membro di Editorial Board di riviste scientifiche a diffusione nazionale 10 10 10 10 10 25 10Membro di Editorial Board di riviste scientifiche a diffusione internazionale B1 43 - 4 20 60 60 50 20 40 20Revisore per riviste scientifiche a diffusione nazionale 20 20 20 5 10 25 10Revisore per riviste scientifiche a diffusione internazionale 10 20 20 20 20 40 20Editor o curatore di libri di ricerca a diffusione nazionale A2.4 20 20 40 40 10 15 25 15Editor o curatore di libri di ricerca a diffusione internazionale A2.3 50 10 10 10 30 30 35 30Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione nazionale 3 20 20 10 60 20 60Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione internazionale 40 40 30 80 25 80Curatele di collane scientifiche 100 100 20 20 12 20Riviste e collane curate dai dipartimenti B7 21 10 10 10
Attività di coordinamento
Direzione di musei ed orti botanici 20Coordinamento ricerche multicentriche nazionali B5.2 21Coordinamento ricerche multicentriche internazionali B5.1 42Organizzazione di Convegni nazionali B3.2 9Organizzazione di Convegni internazionali B3.1 21
BrevettiBrevetti nazionali (coautore almeno un dipendente della struttura) A3.2 50 80 40 40 50 90 90
Brevetti internazionali (coautore almeno un dipendente della struttura) A3.1 200 85 25 25 70 80 80Brevetti nazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 90 75 75 50 100 100Brevetti internazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 100 25 25 70 100 100
AltroMostre, cataloghi, gestione registri malattia e/o di popolazione, gestione banche cellule ecc.
Tabella 6criteri 2002 codice
criteri 2002 punteggio CHIMICA
SC. NAT. BIOL.
SC. BIOL. MOLEC.
MEDICINA AGRARIA
SC. ECONOM.
SC. VETER.
libri e periodici multimediali
Libri scientifici in collane editoriali a diffusione nazionale 50 25 25 20 65 80 65Libri scientifici in collane editoriali a diffusione internazionale 75 100 100 60 100 100 100Libri di alta divulgazione, trattati 40 50 40 40 40Monografie enciclopediche 10 10 20 20 0 40Articoli in o capitoli di libro scientifico in collane editoriali a diffusione nazionale A2.2 10 15 20 35 40 35Articoli in o capitoli di libro scientifico in collane editoriali a diffusione internazionale A2.1 20 25 40 50 50 50Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali con revisori 5 10 60 40 60Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali con revisori 10 30 80 60 80Saggi e studi originali in riviste e volumi, relazioni a convegni nazionali senza revisori 10 5 30 25 30Saggi e studi originali in riviste e volumi, relazioni a convegni internazionali senza revisori 10 10 50 40 50Realizzazione di prodotti scientifici multimediali (incluso software) ideatore 50 50 20Realizzazione di prodotti scientifici multimediali (incluso software) collaboratore 25 30 6Articoli su riviste ISI A1 100-10 100-30 100-15 100-20 100-20 100-40 65-40
Articoli su altre riviste o libri ISS/ISBN
Articoli su altre riviste a diffusione nazionale con revisori 20 5 5 10 20 65 20Articoli su altre riviste a diffusione internazionale con revisori 10 10 10 30 40 90 30Articoli su altre riviste a diffusione nazionale senza revisori 5 5 20 20 20
Abstract e riassunti
Atti di Congressi e Conferenze
Articolo su atti di convegni nazionali con revisori: articolo su invito B4.2 4 10 15 15 5 10 20 5Articolo su atti di convegni internazionali con revisori: articolo su invito B4.1 13 25 20 20 20 40 25 10
Articolo su atti di congressi nazionali o di società nazionali con revisori. 5 10 10 10 10 40 10Articolo su atti di congressi nazionali o di società nazionali senza revisori. 3 5 5 5 15 25 15Articolo su atti di congressi internazionali o di società internazionali con revisori. 25 15 15 20 40 60 40Articolo su atti di congressi internazionali o di società internazionali senza revisori. 10 7 7 5 15 40 20
Rapporti
Prodotti specifici di area
Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche con monografia 40 50 50Carte geologiche e/o tematiche originali pubblicate anche su riviste scientifiche senza monografia 40 20 20Carte geologiche e/o tematiche riassuntive o derivate con monografia 25 25
Attività editoriali
Editor di riviste scientifiche a diffusione nazionale 10 20 20 30 20 50 20Editor di riviste scientifiche a diffusione internazionale 20 70 70 70 40 75 40Membro di Editorial Board di riviste scientifiche a diffusione nazionale 10 10 10 10 10 25 10Membro di Editorial Board di riviste scientifiche a diffusione internazionale B1 43 - 4 20 60 60 50 20 40 20Revisore per riviste scientifiche a diffusione nazionale 20 20 20 5 10 25 10Revisore per riviste scientifiche a diffusione internazionale 10 20 20 20 20 40 20Editor o curatore di libri di ricerca a diffusione nazionale A2.4 20 20 40 40 10 15 25 15Editor o curatore di libri di ricerca a diffusione internazionale A2.3 50 10 10 10 30 30 35 30Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione nazionale 3 20 20 10 60 20 60Cura di libri, atti di convegni, testi con introduzione e traduzioni a diffusione internazionale 40 40 30 80 25 80Curatele di collane scientifiche 100 100 20 20 12 20
Attività di coordinamento
Direzione di musei ed orti botanici 20
A2.1/A2.2 20 - 10
A1.3 (non più
del doppio di A1)
1
A1.2 (non più
del doppio di A1)
3
BrevettiBrevetti nazionali (coautore almeno un dipendente della struttura) A3.2 50 80 40 40 50 90 90Brevetti internazionali (coautore almeno un dipendente della struttura) A3.1 200 85 25 25 70 80 80Brevetti nazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 90 75 75 50 100 100Brevetti internazionali (coautore almeno un dipendente della struttura) sfruttati industrialmente 100 25 25 70 100 100