Valutazione Ex-post
Il processo di valutazione di LIRPA Journal riguarda prodotti appartenenti alle seguenti aree scientifiche:
1) RICERCA DI BASE: comprende le attività tipiche della ricerca fondamentale, e in particolare lavori sperimentali o teorici svolti soprattutto per acquisire nuove conoscenze sui fondamenti di fenomeni e di fatti osservabili, senza che siano previste applicazioni o utilizzazioni pratiche dirette ad alto contenuto di rischio;
2) DIFFUSIONE DELLA CULTURA SCIENTIFICA: attività volta a promuovere e favorire la diffusione della cultura tecnico-scientifica, anche al fine di contribuire alla tutela e alla valorizzazione dell’imponente patrimonio tecnico-scientifico delle scienze psicologiche.
LIRPA Journal adotta due metodologie di valutazione in ottemperanza alle regole vigenti in materia di valutazione:
La Peer Review
La Valutazione Bibliometrica
La metodologia di valutazione peer review
La valutazione degli articoli e dei prodotti scientifici di ricerca presentati da autori come persone fisiche o dalle istituzioni, singolarmente o in combinazione, avviene con le seguenti metodologie:
Attori
La Rivista si è dotata di tre GLV (Gruppi di Lavoro di Valutazione) i cui coordinatori e i cui membri sono docenti universitari strutturati come ordinari, associati e ricercatori (possono essere membri, ma non coordinatori, anche docenti universitari a contratto a tempo determinato o in convenzione didattica non onerosa del S.S.N.)
Metodologia
-Valutazione peer anonima in doppio cieco (LIRPA Journal fa riferimento ad almeno 2 valutazioni espresse da almeno 2 Esperti , ciascuno appartenente ad un GLV diverso tramite compilazione di una Scheda di Valutazione il cui modello è stato redatto da LIRPA Journal secondo le regole vigenti. In caso di pareri discordanti LIRPA Journal ricorre alla valutazione di un terzo Esperto, appartenente al 3° GLV, prima non impegnato nella valutazione del prodotto.
-Informed peer review (Revisione peer informata): in caso di necessario approfondimento valutativo, laddove ne esistano i presupposti, la valutazione diretta da parte dei GLV può essere effettuata anche utilizzandola una valutazione bibliometrica basata sul numero di citazioni del prodotto, sul numero di citazioni della rivista ospitante e su indicatori di fattori di impatto della rivista medesima;
Gli elementi comuni a tutti i GLV:
_la responsabilità finale in capo ai GLV della valutazione dei prodotti con l’attribuzione delle classi di merito;
_la scelta di utilizzare per la valutazione la tecnica della informed peer review, che consiste nel tenere conto di più elementi di valutazione per la classificazione finale di merito.
3 Il processo di valutazione
La valutazione dei prodotti è effettuata dai GLV utilizzando la bibliometria e la peer review. Ogni prodotto è assegnato a due membri GLV responsabili del relativo processo di valutazione. Nel seguito, il processo sarà descritto separatamente per ciascuna metodologia.
La metodologia di valutazione peer review adottata dal LIRPA Journal
La valutazione degli articoli e dei prodotti scientifici di ricerca presentati da autori come persone fisiche o dalle istituzioni, singolarmente o in combinazione, avviene con le seguenti metodologie:
Revisione peer in doppio cieco (LIRPA Journal fa riferimento a tre GLV per la peer review
Informed peer review (Recensione peer informata)
La peer review, è affidata a esperti esterni indipendenti fra loro, scelti tra i GLV (di norma almeno due per prodotto), cui è stato affidato il compito di esprimersi, in modo anonimo, sulla qualità delle pubblicazioni selezionate, anch’esse anonimizzate.
– valutazione diretta da parte del membro del GLV prescelto, anche utilizzando l’analisi bibliometrica basata sul numero potenziale di citazioni attese del prodotto nei successivi tre anni dalla pubblicazione ,essendo il LIRPA Journal una nuova rivista scientifica e su indicatori di fattori di impatto della rivista ospitante il prodotto;
Il giudizio di qualità finale viene espresso sulla base dei seguenti criteri:
- a) originalità, da intendersi come il livello al quale il prodotto introduce un nuovo modo di pensare in relazione all’oggetto scientifico della ricerca, e si distingue così dagli approcci precedenti allo stesso oggetto;
- b) rigore metodologico, da intendersi come il livello al quale il prodotto presenta in modo chiaro gli obiettivi della ricerca e lo stato dell’arte nella letteratura, adotta una metodologia appropriata all’oggetto della ricerca e dimostra che gli obiettivi sono stati raggiunti;
- c) impatto attestato o potenziale nella comunità scientifica internazionale di riferimento, da intendersi come il livello al quale il prodotto ha esercitato, o è suscettibile di esercitare in futuro, un’influenza teorica e/o applicativa su tale comunità anche in base alla sua capacità di rispettare standard internazionali di qualità della ricerca.
L’analisi basata su tali criteri converge in un giudizio sintetico sul prodotto della ricerca, articolato su cinque livelli:
1 Eccellente. Massimi livelli di originalità- Massimi livelli di rigore metodologico- Forte impatto nella comunità scientifica
2 Elevato: Buoni livelli di originalità – Buoni livelli di rigore metodologico – Significativo impatto nella comunità scientifica
3 Discreto: Discreti livelli di originalità – Discreti livelli di rigore metodologico – Apprezzabile impatto nella comunità scientifica
4 Accettabile: Sufficienti livelli di originalità – Sufficienti livelli di rigore metodologico – Circoscritto impatto nella comunità scientifica
5 Limitato: Scarso livello di originalità – Scarso livello di rigore metodologico – Molto limitato livello di impatto nella comunità scientifica
La Valutazione Bibliometrica
– già attestata secondo le regole vigenti in materia per articoli e prodotti scientifici di autori che sono già stati citati da altre riviste indicizzate del settore Scienze Psicologiche
– attesa entro i successivi 3 anni a datare dall’anno della pubblicazione per gli altri articoli e prodotti scientifici di autori non ancora citati da altre riviste indicizzate del settore, essendo LIRPA Journal una rivista di nuova edizione.
Metodologia
– Uso di due basi di dati per la valutazione bibliometrica: citazioni prodotto e citazioni rivista ospitante il prodotto)
Funzionamento
La revisione paritaria sottopone il lavoro o le idee di un autore allo scrutinio di uno o più esperti del medesimo settore. Ognuno di questi esperti fornisce una propria valutazione (solitamente valutazioni di metodo o ricerca di prove valide), includendo anche suggerimenti per l’eventuale miglioramento ad un redattore o ad un altro intermediario (tipicamente, la maggior parte delle valutazioni sono comunicate anche all’autore stesso). Le valutazioni solitamente includono raccomandazioni esplicite sul testo del manoscritto o della proposta, spesso scelte tra opzioni proposte dal giornale o dall’editore. La maggior parte di tali raccomandazioni rientra tra le seguenti:
- il lavoro è accettato senza riserve;
- il lavoro è accettato, a patto che l’autore lo migliori sotto determinati aspetti;
- il lavoro è respinto, ma se ne incoraggia una revisione e una riproposta;
- il lavoro è respinto senza appello.
In questo processo il parere degli esperti di fatto è solo consultivo e l’editore non assume alcun obbligo formale ad accettarne le conclusioni. Inoltre, nelle pubblicazioni scientifiche, gli esperti non lavorano in gruppo, non comunicano tra loro e normalmente non sono a conoscenza delle identità degli altri esperti. Normalmente non vi è necessità che gli esperti esprimano un giudizio consensuale, a differenza di altri ambiti, quale per esempio la giuria di tribunale.
Nel caso i pareri degli esperti divergano tra loro in maniera consistente sulla qualità di un lavoro analizzato, Il LIRPA Journal osserva questa convenzione. I due o tre revisori selezionati riportano al redattore la loro valutazione dell’articolo, assieme a dei suggerimenti per migliorarlo. Il redattore riporta quindi l’insieme dei commenti all’autore (alcuni commenti possono essere stati segnalati al redattore come confidenziali), nel frattempo basandosi su essi, decide se pubblicare o meno il manoscritto. Quando un redattore riceve commenti molto positivi e molto negativi sullo stesso manoscritto, sollecita una o più revisioni aggiuntive per spezzare l’incertezza.
Un’altra strategia in mancanza di un chiaro consenso è quella di invitare l’autore a replicare alle critiche dei revisori e permettere una confutazione convincente, per sciogliere l’incertezza. Se un redattore non si sente sicuro nel valutare la persuasività di una confutazione, può sollecitare una risposta al giudice che portò la critica originale. In rari casi, un redattore trasmetterà le comunicazioni tra autore e revisori, permettendo in pratica di discutere un punto. Anche in questi casi, comunque, i redattori non permettono ai revisori di conferire tra loro, e lo scopo esplicito del processo non è quello di raggiungere il consenso o convincere qualcuno a cambiare la propria opinione. Alcune riviste mediche comunque, (di solito seguendo il modello dell’accesso aperto) hanno pubblicato su Internet la storia precedente alla pubblicazione di ogni articolo, dalla candidatura originale ai rapporti dei revisori, ai commenti degli autori, ai manoscritti revisionati.
Dopo aver rivisto e risolto qualsiasi potenziale nodo, ci sono tre esiti possibili per l’articolo. I due più semplici sono lo scarto diretto e l’accettazione incondizionata. In molti casi agli autori viene data una possibilità di rivedere il lavoro, con o senza raccomandazioni o richieste specifiche da parte dei revisori.
Stili di revisione
La revisione paritaria può essere condotta in modo rigoroso senza per questo essere eccessivamente restrittiva. Ad esempio, nel caso di un ente che disponga di molti fondi da devolvere, o di una rivista con pochi lavori di alto profilo tra cui scegliere, potrebbe non aver senso essere troppo selettivi. Viceversa, quando i fondi o lo spazio per la pubblicazione sono limitati, la revisione paritaria può essere usata per selezionare un piccolo numero di proposte o manoscritti.
La decisione su cosa sia “abbastanza buono”, ricade interamente sul redattore o l’organizzatore della rivista. In altri casi, la scelta toccherà ai revisori, con una guida generale da parte del Responsabile del relativo GLV, sul rigore da applicare. Laddove vengano segnalati errori di metodo nello studio di ricerca presentato prima ancora della verifica o attendibilità delle eventuali prove presentate a sostegno della tesi,gli errori evidenti sono individuati e gli autori ricevono sia correzioni che suggerimenti.
Per preservare l’integrità del processo di revisione paritaria, gli autori candidati non vengono informati su chi abbia ricevuto il loro lavoro; non sanno nemmeno l’identità del redattore che è responsabile del loro lavoro. Il LIRPA Journal opera con procedure chiamate di revisione “cieca” o a “doppio cieco“, l’identità degli autori viene nascosta ai revisori, per evitare che tale conoscenza diventi pregiudizievole alla loro revisione. In tali casi, comunque, il redattore associato, responsabile del testo, conosce l’identità dell’autore. Nella revisione a doppio cieco, viene tolto dal lavoro qualsiasi riferimento che possa farli individuare come autori.
La nomina dei revisori
Il reclutamento dei revisori è operato sulla base delle loro competenze affermate nel campo a partire da loro pubblicazioni e alla parallela disponibilità degli stessi che non sono retribuiti e sottraggono comunque del tempo utile alle loro principali attività di ricerca e/o didattica all’interno dei rispettivi istituti di ricerca. Una buona riuscita del processo di revisione, e quindi un’accurata scelta dei revisori, è infatti nell’interesse del redattore per dar credito di affidabilità alla rivista stessa. I redattori hanno quindi un particolare interesse nel reclutare studiosi quando hanno supervisionato le pubblicazioni dei loro lavori o se lo studioso è tra quelli a cui sperano di sottoporre in futuro un proprio lavoro alla pubblicazione di tale redattore. A vantaggio del reclutatore molti dei potenziali revisori sono quindi a loro volta autori e/o lettori consapevoli che un sistema di pubblicazione efficiente e affidabile richieda un servizio di revisione da parte di esperti.
Tipicamente i revisori non vengono scelti tra i colleghi, i parenti o gli amici dell’autore. Ci si attende che i revisori informino l’editore di qualsiasi conflitto di interesse che possa sorgere. Riviste o singoli redattori spesso invitano l’autore di un manoscritto a nominare persone che ritengono qualificate a giudicare il loro lavoro. Gli autori sono talvolta anche invitati a nominare candidati naturali che dovrebbero essere “squalificati”. In questo caso può venirgli richiesto di fornire una giustificazione (tipicamente espressa in termini di un conflitto di interesse).
Scheda di Valutazione Peer Reviewer del Prodotto dal titolo