Archivi tag: Cose da migliorare

Castronerie dei valutatori di progetti europei (18)

Castronerie dei valutatori di progetti europei (esempi 18 e 19)

Stanno arrivando le valutazioni dei progetti di partenariato strategico e, all’interno, ogni tanto troviamo delle perle. Un paio delle ultime in un progetto valutato da INDIRE:

1. l progetto aveva a budget una somma per eventuali costi di fideiussione. Il valutatore scrive: ‘Si fa notare che l’Agenzia Nazionale non ha richiesto garanzie finanziarie’

Perché è una castroneria: perché la fideiussione viene richiesta dal’Agenzia Nazionale (che decide sulla base dei dati di bilancio dell’applicant) solo DOPO che il progetto è stato approvato, mentre qui siamo ancora in fase di valutazione del progetto stesso. Il valutatore dimostra così di non conoscere il processo di contrattualizzazione, che non è una ignoranza da poco, e soprattutto riduce erroneamente il punteggio a un progetto che non è stato approvato per appena 1,5 punti.

2. Lo stesso valutatore critica che nel budget sia stata inserita una somma per la stampa di uno degli output intellettuali, argomentando che ‘i costi di stampa rientrano nelle spese di project management’.

Perché è una castroneria: perché  i costi di stampa di prodotti prodotti intellettuali di valore europeo sono spese eventuali e condizionate allo sviluppo dei prodotti intellettuali stessi, perciò non possono essere considerati ricompresi all’interno del budget per la gestione del progetto, che copre invece le spese ordinarie che tutti i progetti devono sostenere. Secondo la Erasmus+ Programme Guide Version 2 (2016): 07/01/2016, p.118 lo sviluppo di learning/teaching/training materials è coperto dal budget per il project management solo in progetti di piccola scala (cioè di semplice cooperazione, senza sviluppo di prodotti intellettuali di valore europeo).

Questo articolo va letto assieme a Perché i progetti validi vengono bocciati?Da ridere / da piangere: lo sciocchezzaio dei valutatori dei progetti europeiCome sono selezionati i valutatori dei progetti europei?Cos’è l’effetto aureola e in che modo distorce le valutazioni dei progetti europei

Articolo contenuto sul sito www.aiuto.net. Autore © Leonardo Evangelista.  Vedi Informativa privacy, cookie policy, copyright e limitazione responsabilità.

Pubblicata la prima correzione alla Guida Erasmus+ 2016

Pubblicata la prima correzione alla Guida Erasmus+ 2016

Iniziano le revisioni della Guida al programma Erasmus+ pubblicata da solo circa 1 mese.

La prima revisione, pubblicata il 15 dicembre 2016, è disponibile a questo indirizzo.

Linee di tendenza per i Partenariati strategici

Linee di tendenza per i Partenariati strategici

Come sappiamo, i Partenariati strategici hanno raccolto l’eredità dei progetti di Partnership e dei progetti Multilaterali del precedente programma Lifelong Learning. Le Partnership erano progetti su piccola scala (e piccolo budget) che servivano a conoscere, cooperare e condividere le proprie attività con altre organizzazioni europee, mentre i Multilaterali erano progetti di maggiori dimensioni (se ricordo bene il finanziamento poteva arrivare fino a 300.000 €) che servivano a sviluppare metodologie e progetti innovativi in collaborazione con altre organizzazioni europee.

Nel Lifelong Learning i due tipi di progetto avevano linee di finanziamento distinte ed erano valutate da soggetti diversi (le partnership dalle agenzie nazionali e i Multilaterali direttamente da EACEA), perciò fra i due non c’era competizione.

Nel nuovo Erasmus+ i due tipi di progetti sono stati raccolti sotto i Partenariati strategici, che possono così essere presentati con uno dei due diversi obiettivi:

  • A. semplice collaborazione e scambio di pratiche, senza produzione di prodotti intellettuali di valore europeo. In questo tipo di progetti le attività del personale impegnato nel progetto e i costi vivi delle attività di disseminazione sono finanziati a forfait e i budget totali, per partenariati di 3-4 partners, è intorno ai 40-50.000 €
  • B. progetti che invece producono prodotti intellettuali di valore europeo che descrivono metodologie e prodotti innovativi. In questo tipo di progetti alla parte a forfait del budget vengono aggiunte giornate/ persona per la realizzazione dei prodotti intellettuali e così il budget può arrivare a 450.000 €.

Ovviamente le organizzazioni che hanno progettisti validi (ma anche le altre) presentano progetti del tipo B. In questo modo i progetti del tipo A rimangono ‘schiacciati’ dai progetti di tipo B che hanno una qualità migliore. Se esaminiamo, in Italia o all’estero, le graduatorie dei Partenariati strategici vediamo che i progetti finanziati sono tutti, con rarissime eccezioni, di tipo B. Questa situazione riduce grandemente il numero dei soggetti beneficiari dei finanziamenti. Con un progetto da 450.000 € si finanziano mediamente 6 partners, spesso organizzazioni che ‘vivono’ di progetti europei perché hanno progettisti molto bravi; con lo stesso importo si possono finanziare 7 progetti da 60.000 €, vale a dire circa 35 organizzazioni. In questo secondo caso l’impatto del programma sarebbe maggiore. E’ vero che l’impatto europeo dei progetti di tipo A dovrebbe avvenire grazie alla diffusione delle metodologie e degli strumenti innovativi che sviluppano, ma questo, per quel che posso vedere, non si verifica quasi mai. Da progettista molto bravo la situazione attuale mi può anche andare bene, da cittadino che paga le tasse e si preoccupa di come vengono spesi i suoi soldi no. In un prossimo articolo spiegherò in quali modi è possibile migliorare la qualità delle metodologie e prodotti sviluppati dai progetti europei.

La Guida al programma Erasmus+ spiega che in fase di valutazione i requisiti per la gestione e la disseminazione richiesti ai progetti di tipo A sono minori, vale a dire che i progetti di tipo A dovrebbero ottenere punteggi più alti anche se in valore assoluto la loro qualità è minore, in modo da permetterne l’approvazione. In concreto si tratta di una disposizione generica, di difficile applicazione. Una migliore soluzione potrebbe essere riservare ai progetti di tipo A una parte del finanziamento complessivo.

Il bando 2016, uscito 3 giorni fa, ha lasciato la situazione invariata; a pag. 107 la Guida al programma Erasmus+, versione in inglese, si è limitata a evidenziare meglio, grazie a una tabella, i due tipi di progetti presentabili. Una riserva a favore dei progetti di piccola scala è stata invece introdotta quest’anno per i Partenariati collaborativi nel settore sport. Nel bando 2015 esisteva un solo tipo di Partenariati collaborativi, con un budget massimo di 500.000 €. Il bando 2016 ha invece inserito nel settore sport anche i Partenariati collaborativi su piccola scala, con un budget massimo di 60.000 € (lasciando peraltro la rendicontazione a costo vero, e non a forfait come invece avrebbe dovuto).

Per il bando 2017, se non vengono messe a punto misure per assicurare una maggiore qualità dei progetti che sviluppano metodologie e prodotti innovativi potremmo aspettarci (auspicare?) una di queste due soluzioni: una riserva del finanziamento totale a favore dei partenariati strategici di tipo A oppure addirittura una misura specifica per i progetti di tipo A (ma questa seconda soluzione secondo me è sconsigliata perché crea una ulteriore azione all’interno del programma Erasmus+, aumentandone la complessità; meglio una riserva del finanziamento totale).

Articolo contenuto sul sito www.aiuto.net. Autore © Leonardo Evangelista.  Vedi Informativa privacy, cookie policy, copyright e limitazione responsabilità.

Effetto aureola e valutazione dei progetti europei

Questo sito è stato trasferito all’indirizzo www.servizieuroprogettazione.it

 

La valutazione dei progetti europei

Questo sito è stato trasferito all’indirizzo www.servizieuroprogettazione.it

 

La selezione dei valutatori dei progetti europei

Come sono selezionati i valutatori dei progetti europei?

Alzi la mano chi non ha mai ricevuto una valutazione di un progetto con un errore del valutatore. A volte si tratta di errori ‘oggettivi’: ad esempio il valutatore vi ha abbassato il punteggio perché, scrive, ‘nel budget non sono stati considerati i costi di traduzione’, mentre invece ci sono e più semplicemente ha letto di fretta la vostra proposta e non se n’è accorto. Altre volte invece il valutatore vi abbassa il punteggio per un punto di vista opinabile, ad esempio perché, scrive, ‘iI piano di disseminazione è  descritto  in  modo  inusuale’, anche se voi avete usato quella strutturazione in altri 20 progetti e tutti gli altri valutatori vi hanno scritto che è descritto molto in dettaglio ed è efficace.   Lo stesso mi è accaduto ad esempio per la descrizione delle modalità di gestione del progetto. Vedi una serie di esempi nel mio articolo Da ridere / da piangere: lo sciocchezzaio dei valutatori dei progetti europei.

Fra l’altro, la mia impressione (da verificare) è che nei recenti Partenariati strategici Erasmus+, introdotti dal 2014, gli errori e l’eccentricità dei valutatori siano aumentati: quando tutti i progetti venivano presentati a Bruxelles il gruppo dei valutatori era più ristretto e la selezione dei valutatori, svolta a livello europeo, permetteva di individuare persone mediamente più competenti di quelle selezionate adesso sulla base di graduatorie nazionali.

Ma sulla base di quali requisiti vengono selezionati i valutatori? I criteri di selezione per i valutatori italiani per le misure di Erasmus+ presentate alle Agenzie Nazionali (innanzitutto i progetti di mobilità KA1 e i Partenariati strategici) sono indicati agli articoli 8 e 9 del decreto 67/2014 di Indire  (l’Agenzia nazionale italiana che si occupa dei progetti relativi a adulti, istruzione e università).

Come sono selezionati i valutatori dei progetti europei (progetti Erasmus+ presentati a Agenzie nazionali)

I valutatori sono scelti con riferimento a tre parametri:

  1. Titolo di studio e qualifiche professionali
  2. Esperienze maturate nel settore richiesto
  3. Competenze e conoscenze acquisite attraverso altri percorsi formativi ed esperienze professionali

I parametri 1 e 2 vanno coniugati con le conoscenze disciplinari. Ad esempio per l’Educazione degli adulti le conoscenze disciplinari sono le seguenti:

Gli esperti devono possedere ampie conoscenze nel campo dell’educazione degli adulti in ambito nazionale e comunitario  in  settori quali:

  • la concezione, l’attuazione e la valutazione di progetti in materia di educazione degli adulti;
  • l’innovazione ed il miglioramento della qualità dei sistemi di educazione;
  • l’istituzione e il funzionamento di reti transnazionali nel settore dell’educazione degli adulti;
  • la mobilita transnazionale di persone nel settore dell’educazione degli adulti;
  • lo sviluppo, ii trasferimento e l’implementazione di pratiche innovative nel campo dell’educazione degli adulti a livello locale, nazionale ed europeo;
  • l’insegnamento e l’apprendimento delle lingue, nonché la valutazione delle competenze linguistiche anche con il supporto delle TIC;
  • la messa a punto, in particolare mediante l’uso delle tecnologie dell’informazione, di prodotti, strumenti, metodologie e metodi di istruzione / formazione nonché la diffusione di risultati  e prodotti in questo campo.

 Gli esperti, inoltre, devono possedere  competenze  in  materia  di analisi di carattere  finanziario e cantabile.

Sara valutata positivamente la conoscenza di una seconda lingua tra le seguenti lingue straniere: inglese, francese, tedesco, spagnolo.

Colpisce, fra i criteri di valutazione, la completa assenza di richiami a precedente esperienza

  • nella valutazione di progetti europei,
  • nella scrittura di progetti europei,
  • nel coordinamento o comunque partecipazione a progetti europei.

Se la Commissione che esamina i CV lo ritiene opportuno, questi aspetti possono essere considerati nel parametro 3, ma non è sicuro.

Perché i valutatori sbagliano

Questi criteri di valutazione spiegano così la frequenza di valutazioni eccentriche. La conoscenza dell’ambito disciplinare in cui i progetti sono presentati è sicuramente un elemento fondamentale per capire l’innovatività e la fattibilità dei progetti europei, ma questi due elementi sono solo una parte, e anche minore, dei parametri di valutazione su cui deve esprimersi il valutatore. I parametri su cui vanno esaminati i progetti europei sono quattro:

  • Rilevanza del progetto (max 30/100)
  • Struttura del progetto (max 20/100)
  • Composizione del partenariato (max 20/100)
  • Impatto e disseminazione (max 30/100)

Bene, innovatività e fattibilità dell’idea progettuale sono relativi solo a Rilevanza del progetto. Fra l’altro il punteggio sulla rilevanza del progetto va assegnato non solo sulla base di innovatività e fattibilità dell’idea progettuale, ma anche della sua corrispondenza con gli obiettivi e le priorità annuali del bando, cosa che già richiede una conoscenza non banale del programma e dell’europrogettazione.

Gli altri 3 parametri sono, invece, in buona misura scollegati dal settore disciplinare, e collegati invece alle tecniche di europrogettazione. Sono ad esempio relativi alle tecniche di europrogettazione: la modalità di strutturare un progetto europeo (al 100%), la composizione del partenariato nella parte relativa alla divisione dei compiti fra i partner, la disseminazione.

Diventano così frequenti valutazioni eccentriche su priorità su cui ricade l’idea progettuale, strutturazione del progetto, divisione dei compiti nel partenariato, disseminazione e sfruttamento (exploitation). Vedi una serie di esempi nel mio articolo Da ridere / da piangere: lo sciocchezzaio dei valutatori dei progetti europei.

L’Agenzia nazionale svolge una serie di giornate di formazione ai valutatori prescelti, probabilmente centrate sulle modalità ottimali di strutturazione dei progetti. Sulla base però degli errori dei valutatori rilevai finora, non sembra però che tale formazione sia sufficiente.

Una notazione curiosa è che nel decreto Indire non sono indicati i compensi dei valutatori, si dice solo che (art.11) L’esperto selezionato riceverà, per l’esecuzione dell’incarico conferitogli nell’ambito del presente Avviso, un compenso, nonché un eventuale rimborso per le spese di vitto ed alloggio, in conformita alle norme ed alle tariffe ordinariamente applicate dalle Agenzie nazionali.

Anche il compenso dei valutatori è un altro elemento importante: se troppo basso presenteranno la loro candidatura soprattutto persone poco valide o con poca esperienza.

Relativamente al compenso, vedi l’altro articolo I compensi dei valutatori dei progetti europei presso INDIRE.

Articolo contenuto sul sito www.aiuto.net. Autore © Leonardo Evangelista.  Vedi Informativa privacy, cookie policy, copyright e limitazione responsabilità.

I risultati dei Partenariati strategici sono pubblicati con troppo ritardo

Ritardo incomprensibile nella pubblicazione dei risultati dei Partenariati strategici

In alcuni paesi stanno (ad esempio Germania) stanno iniziando ad arrivare ai soggetti presentatori i risultati dei progetti presentati alla scadenza del 31 marzo 2015 su Erasmus+ Partenariati Strategici. Ma quali sono i tempi per la pubblicizzazione delle graduatorie?

Un documento di riferimento è il Financial Regulation applicable to the general budget of the Union and its rules of application

Indicazioni nella tempistica sull’informazione a chi ha presentato progetti sono contenute nell’articolo 128:

Article 128 Transparency

  1. Grants shall be subject to a work programme, to be published prior to its implementation. That work programme shall be implemented through the publication of calls for proposals, except in duly justified exceptional cases of urgency or where the characteristics of the beneficiary or of the action leave no other choice for a given action, or where the beneficiary is identified in a basic act. (…)
  1. Calls for proposals shall specify the planned date by which all applicants shall have been informed of the outcome of the evaluation of their application and the indicative date for the signature of grant agreements or notification of grant decisions. Those dates shall be fixed on the basis of the following periods:
  • (a) for informing all applicants of the outcome of the evaluation of their application, a maximum of six months from the final date for submission of complete proposals;
  • (b) for signing grant agreements with applicants or notifying grant decisions to them, a maximum of three months from the date of informing applicants they have been successful.

Those periods may be adjusted in order to take into account any time needed to comply with specific procedures that may be required by the basic act in accordance with Regulation (EU) No 182/2011 of the European Parliament and of the Council (37) and may be exceeded in exceptional, duly justified cases, in particular for complex actions, where there is a large number of proposals or delays attributable to the applicants.

The authorising officer by delegation shall report in his or her annual activity report on the average time taken to inform applicants, sign grant agreements or notify grant decisions. In the event of the periods referred to in the second subparagraph being exceeded, the authorising officer by delegation shall give reasons and, where not duly justified in accordance with the third subparagraph, shall propose remedial action.

Indicazioni sulla tempistica nella pubblicazioni degli elenchi dei vincitori sono contenute nell’articolo 35

Article 35 Publication of information on recipients and other information

  1. (…)
  2. The Commission shall make available, in an appropriate and timely manner, information on recipients, as well as the nature and purpose of the measure financed from the budget, where the latter is implemented directly in accordance with point (a) of Article 58(1), and information on recipients as provided by the entities, persons and Member States to which budget implementation tasks are entrusted under other methods of implementation. The obligation set out in the first subparagraph shall also apply to the other institutions with regard to their recipients.
  1. This information shall be made available with due observance of the requirements of confidentiality and security, in particular the protection of personal data.

Dunque il tempo massimo per informare i presentatori dei risultati è di 6 mesi, mentre il tempo massimo per pubblicare gli elenchi dei vincitori non viene fissato, l’articolo 35 dice solo che la pubblicazione deve essere timely, cioè secondo il Cambridge online happening at a suitable moment. In Italiano timely si traduce con tempestivo, vale a dire, secondo il dizionario Sabatini Coletti online: Che si verifica, è fatto o agisce nel momento migliore, in tempo utile. Perciò la vediamo che definizione è molto generica.

Due settimane fa ho chiesto direttamente alla DG Culture and Education quale era la tempistica fissata dalla DG alle Agenzie nazionali  e ho ricevuto una tabella da cui si vede che:

  • il temine ultimo suggerito dalla DG per comunicare i risultati ai soggetti presentatori è il 20 Agosto 2015. Il termine ultimo obbligatorio è 6 mesi dalla scadenza del bando, perciò 30 Settembre 2015.
  • il termine ultimo obbligatorio per la pubblicazione dei risultati è di 60 giorni dalla comunicazione ai soggetti presentatori, perciò 6 mesi (punto presedente) + 60 giorni ulte3riori arriviamo a un termine ultimo di 8 mesi dalla scadenza. E’ un termine troppo lungo, che crea una situazione in cui si comincia a lavorare sul nuovo bando senza aver ancora disponibili le graduatorie del bando precedente. Fra l’altro le Agenzie nazionali ovviamente mettono a punto l’elenco dei vincitori un po’ di tempo prima di iniziare le comunicazioni ai soggetti presentatori, e in quel momento non ci sono impedimenti legali per l’immediata pubblicazione. In effetti questa era la tempistica, molto più trasparente, dei vecchi progetti multilaterali sul programma Lifelong Learning: la lista dei progetti finanziati (e di quelli non finanziati) alcuni anni è stata pubblicata prima ancora di comunicare formalmente gli esiti ai soggetti presentatori o nei giorni immediatamente successivi l’invio delle pubblicazioni. La nuova tempistica scelta dalla DG per i Partenariati strategici Erasmus+ è incomprensibile.

Articolo contenuto sul sito www.aiuto.net. Autore © Leonardo Evangelista. Collocato su internet il 4 luglio 2015. Ultima modifica 4 luglio 2015. L’articolo rispecchia le opinioni dell’autore al momento dell’ultima modifica. Tutte le informazioni sono state attentamente vagliate, tuttavia non si risponde di errori o i precisioni. E’ vietata la riproduzione non autorizzata.