Evaluierung, Reporting, Monitoring im 6. EU-Rahmenprogramm

18/10/02NCP Training

1

Evaluierung, Reporting, Monitoring

im 6. EU-Rahmenprogramm

DI Gerald Kern

BIT - Büro für Internationale Forschungs- und Technologiekooperation

Büro für Internationale Forschungs- und Technologiekooperation 2

Überblick Evaluierungsprozess

Full/short Proposal

Antragsformulare

Evaluatoren

Kriterien

Eligibility

Evaluatoren

Kriterien

Evaluatoren

Kriterien

Final rankinglist

Panelmit optionalen

HearingsEinreichung Konsens

IndividuellesLesen

Anträge in ReihenfolgevorgeschlagenerPrioritäten

Rejection list

KommissionsFollow-up

Fragen


•Official JournalOfficial Journal•CORDISCORDIS•NCPsNCPs

AUSSCHREIBUNG AUSSCHREIBUNG / CALL FOR / CALL FOR

PROPOSALSPROPOSALSEligibility Check: KommissionEligibility Check: KommissionEVALUIERUNG: EVALUIERUNG: Peer review -Peer review -Prinzipien / unabhängige ExpertenPrinzipien / unabhängige Experten

VERHANDLUNGVERHANDLUNG

INFORMATIONINFORMATION

MARKING & MARKING & PRIORITY ORDER PRIORITY ORDER DER ANTRÄGEDER ANTRÄGE

Panel (optional)Panel (optional)

VERTRAGSUNTERZEICHNUNGVERTRAGSUNTERZEICHNUNG

ProgrammkommitteeProgrammkommittee

RANKING & FUNDING RANKING & FUNDING SZENARIO(s)SZENARIO(s)

KommissionKommission

Die Auswahl der Anträge



Full/short Proposal

Antragsformulare

Evaluatoren

Kriterien

Eligibility

Evaluatoren

Kriterien

Evaluatoren

Kriterien

Final rankinglist

Panelmit optionalen

HearingsKonsens

IndividuellesLesen


Rejection list


Fragen

Einreichung


Full / short proposal 1-stufige Einreichung der Anträge

Gesamter Antrag mit sämtlichen Details Bewertungskriterien im Arbeitsprogramm def.

2-stufige Einreichung der Anträge (opt.) 1. Stufe

Kurz-Antrag (ca. 30 Seiten) Verwendung von eingeschränkten Bewertungskriterien erfolgreiche Antragsteller werden zum Einreichen

kompletter Anträge eingeladen

2. Stufe - wie - wie 1-stufige Einreichung

im Arbeitsprogramm definiert Erste Ausschreibungen hpt.sächlich 1-stufig


Antragstellung

Einfachere Formulare Beschreibung der Arbeit und des

Konsortiums kombiniert Alte Teile B + C Keine Anonymität

Neues elektronisches Einreichsystem Offline-tool Mitte Jänner 2003 verfügbar ? Web-basiertes online-tool

Mitte Jänner 2003 verfügbar ?

Panelmit optionalen


Individuelles Lesen



INHALT STREP ANTRAGINHALT STREP ANTRAG

• Objectives and expected impactObjectives and expected impact

• Work plan and associated budgetWork plan and associated budget

• The consortium and the The consortium and the project resources project resources

• Project managementProject management

• Exploitation and dissemination Exploitation and dissemination plansplans

• Ethics, safety and other issues Ethics, safety and other issues (dort, wo relevant)(dort, wo relevant)

Siehe Info-Paket / “Guide for Siehe Info-Paket / “Guide for Proposers” für DetailsProposers” für Details

Inhalt eines Antrages - zB STREP

Part A Part B


4 Möglichkeiten der Einreichung

off-line vorbereiten, on-line einreichen on-line vorbereiten, on-line einreichen off-line vorbereiten, auf CD or Diskette

einreichen mit Backup auf Papier

off-line vorbereiten, ausgedruckte Version einreichen nur 1 Kopie erforderlich

Panelmit optionalen


Individuelles Lesen



Inhalt der Antragsformulare Teil A

A1 - Allgemeine Info über Antrag A2 - Info über Koordinator und die

anderen Partner 1 Formular pro Partner

A3 - Kostenübersicht 1 Blatt für das gesamte Konsortium

Panelmit optionalen


Individuelles Lesen



Formular A1: Allgemeine Info über Antrag

Titel, abstract, keywords etc.


Formular A2: Info über

Koordinator und die anderen

Partner

Organisationsname, Addresse, legal status, activity type, KMU ja/nein

etc.

(1 Blatt pro Partner)(1 Blatt pro Partner)


Formular A3: Kostenübersicht je Aktivität und je Partner

(1 Zeile pro Partner)

Aktivitätstyp:Forschung & Innovation, Demonstration, Training, Management


Eligibility checks

Datum und Zeitpunkt des Eingangs in Brüssel Absolute Deadlines

Mindestanzahl von Partnern (eligible, unabh.) wie in Arbeitsprogramm / Ausschreibung festgelegt

Vollständigkeit des Antrages sämtliche erforderlichen administrativen Formulare

vorhanden

zusätzliche Erfordernisse lt. Calltext betrifft KMU, HRM, Infrastrukturen

Panelmit optionalen


Individuelles Lesen




Full/short Proposal

Antragsformulare

Evaluatoren

Kriterien

Eligibility

Evaluatoren

Kriterien

Evaluatoren

Kriterien

Final rankinglist

Einreichung


Rejection list


Fragen

KonsensPanel

mit optionalen

Hearings

Individelles Lesen


Evaluatoren (1)

Hoch qualifizierte Evaluatoren sind Kern des Evaluierungssystems

Breiterer “Pool” von Evaluatoren http://www.cordis.lu/experts/fp6_candidature.htm

Ausschreibung addressiert an Institutionen zum Erstellen einer Liste von passenden unabhängigen Experten....

Kommission kann auch Individuen..... ausserhalb dieser Listen auswählen, wenn entsprechende Fähigkeiten vorh. sind

Panelmit optionalen


Individuelles Lesen



Evaluatoren (2)

QualifizierungHoher Grad an professioneller Erfahrung im

öffentlichen oder privaten Sektor innerhalb von Gebieten mit Relevanz zum RP

Einige werden an Anhörungen (hearings) mit den Konsortien teilnehmen (IP und NoE)

Unterzeichnung einer Verpflichtung zu Geheimhaltung / Interessenskonflikterklärung

Namen werden nach Evaluierung veröffentlicht

Panelmit optionalen


Individuelles Lesen



Kriterien sind an Instrumente angepasst Können in verschiedenen Gebieten variieren

werden im Arbeitsprogramm spezifiziert “ethical review” Prozeduren “gender issues” sind in den Kriterien

voll integriert für sämtliche Anträge Unterschiedliche Gewichtungen und

Schwellenwerte können vergeben werden Themen betreffend Science & society

Die Kriterien Panel

mit optionalen


Individuelles Lesen



Beispiele von Kriterien

Integrierte Projekte und STREPs Hauptpunkte, die für Evaluierung

dargestellt werden müssen: relevance to the objectives of the specific

programme scale of ambition and potential impact S&T excellence quality of the consortium quality of the project and ‘knowledge’ management critical mass in terms of activities and resources

Panelmit optionalen


Individuelles Lesen



Relevance to the objectives of programmeThe extent to which the proposed project addresses the scientific, technical, socio-economic and policy objectives of the work programme in the areas open for the particular call.

S&T excellence The extent to which:

• the project has clearly defined and well focused objectives;• the objectives represent clear progress beyond the current state-of-the-art;• the proposed S&T approach is likely to enable the project

to achieve its objectives in research and innovation.

Hauptkriterien der Evaluierung (1)


Potential impact

The extent to which:• the proposed project is likely to have an impact on reinforcing competitiveness, or on solving societal problems;• the impact of the proposed work can best be achieved if carried out at European level;• exploitation and/or dissemination plans are adequate to ensure optimal use of the project results.



Quality of the consortium • the participants collectively constitute a consortium of

high quality;• the participants are well-suited and committed to the

tasks assigned to them;• there is good complementarity between participants;• the opportunity of involving SMEs has been adequately

addressed.

Quality of the management• the project management is demonstrably of high quality;

• there is a satisfactory plan for the management of knowledge, of intellectual property and of other innovation-related activities.



Mobilisation of resourcesThe extent to which:• the project foresees the resources (personnel,

equipment, financial…) necessary for success;• the resources are convincingly integrated to form a

coherent project;• the overall financial plan for the project is adequate .



Networks of Excellence NoE

Relevanz zu den Themen im Arbeitsprogramm

Potentielle AuswirkungExzellenz der TeilnehmerQualität der IntegrationOrganisation und Management

Panelwith optional

HearingsSubmission Consensus

Individual reading

CommissionFollow-up


NoE - Evaluierung

Schlüsselthemen Potentielle Auswirkung zur Stärkung

Europas ExzellenzKollektive Exzellenz der

NetzwerkteilnehmerAusmaß, Tiefe und Dauer der IntegrationBeitrag zur ExzellenzverbreitungManagement und Steuerung des

Netzwerks


Individual reading

3 oder mehr Evaluatoren, abhg. vom Instrument (für IP und NoEs wahrscheinlich 5 oder mehr)

Kann außer Haus durchgeführt werden (zu Hause oder am Arbeitsplatz)

Bewertung and Kommentare für jedes Kriterium

Individuelle Evaluierung Gestaltung (Threshold, full-outline proposal)

siehe Arbeitsprogramm

Panelwith optional


Individual reading

CommissionFollow-up


Consensus

Auf Basis individueller Beurteilung der Evaluatoren

Diskussion darf geführt werden Einigung über gemeinsame Bewertung

und Kommentare für jedes KriteriumGemeinsamer GesamtberichtNach Konsens: Anwendung der

Gewichtung und Schwellenwertesiehe Arbeitsprogramm

Panelwith optional


Individual reading

CommissionFollow-up


Panel (with optional hearings)

Anhörung von Antragsteller (besonders NoE und IP) kann durchgeführt werdenWie im Arbeitsprogramm definiert Fragen für den Proposal KoordinatorGeringe Anzahl der Proposal Vertreter

Panel Meeting (nur Evaluatoren)Endgültige Bewertung und Kommentare für

jedes ProposalVorschläge in Reihung der Wichtigkeit,

Clustering, Änderungen, etc.

Panelwith optional


Individual reading

CommissionFollow-up



Full/short Proposal

Antragsformulare

Evaluatoren

Kriterien

Eligibility

Evaluatoren

Kriterien

Evaluatoren

Kriterien

Final rankinglist

Panelmit optionalen


IndividuellesLesen


Rejection listFragen



Commission Follow-up

Endgültige RanglisteEvaluierungsendbericht an AntragstellerInformation an und Diskussion mit

Programm KomitteeKommissionsentscheid bez. abgelehnter

ProposalsVertragsverhandlungenKommissionsentscheid über Proposals

für Förderung

Panelwith optional


Individual reading

CommissionFollow-up


Tips for success (1)

Read and understand the documents http://europa.eu.int/comm/research/fp6/

index_en.htmlWork programmeGuides for proposersGuides for evaluatorshttp://www.cordis.lu/fp6

Tips for success


Tips for success (2)

Ihr Proposal:Ist es komplett?Ist das Konsortium klar?

Können wir alle zusammenarbeiten?Klare Rollenverteilung hinsichtlich Verantwortlichkeit,

kritische Masse, etc.

Werden alle Fragen beantwortet? (siehe “ guide for proposers”)

Passt es in das Arbeitsprogramm? (check mit dem Call!)

Sind die Ziele klar?Ist es klar wie das Projekt gemanaget wird?

Tips for success


32

Monitoring, Reporting


33


IP


Projektvorschlag Einreichung

Durch “calls for proposals”“expressions of interest” kann vorher

durchgeführt werden

Einfacheres “proposal-making”evolutionären Character des Projektes

Zusammenfassung der Aktivitäten über die gesamte Projektlaufzeit

Detailierten Aktivitätenplan für die ersten 18 Monate


Vertrag regelt max. Förderbeitrag, aber nicht die Verteilung innerhalb der Teilnehmer

Freiheit des KonsortiumsVerhinderung von “Micro-management”

Annex beinhaltetKomplette ProjektbeschreibungDetalierter Aktivitätenplan für die ersten 18

Monate

Vorauszahlung: 85% der Förderung für die ersten 18 Monate

Vertrag und Vorauszahlung (I)


Vertrag und Vorauszahlung ((II)

Einfachere Unterschriftenregelungschnellere Umsetzung

Das Konsortium nominiert einen ‘coordinator’

Verbindungsstelle zu Kommission,erhält und verteilt Förderung

“Consortium agreement” ist Vorbedingung


Berichtlegung und Zahlung Das Konsortium übermittelt einen jährlichen Bericht :

“an outline of previous 12 months’ activitiesfinancial documents on the costs incurred (including

cost certificates and management-level justification)a detailed implementation plan and associated

financial plan for the following 18 months”

“Upon acceptance of above by the Commission”: “final settlement of payment for period concerned

(subject to any ex-post audit)”“outstanding advance supplemented up to 85% of

the anticipated Community contribution for following 18 months”


Payments and reporting schedule

(example of a 4 year contract)

Activity report

Reported costs

Activity report Detailed work plan

Reported costs Adjusted advance

Activity report Detailed work plan

Reported costs Adjusted advance

Activity report

Reported costs

Detailed work plan

Adjusted advance

Detailed work plan

Initial advance

0 6 12 18 24 30 36 42 48

Months


Flexibilität und AutonomieAuf Basis des Implementierungsplans

Vorschlag des Konsortiums für die kommenden 18 MonateUpdate der generellen Planung möglich

Genehmigung der Kommission notwendig

Änderungen im KonsortiumAufnahme neuer Teilnehmer als Entscheidung des

Konsortiums (ohne zusätzliche Förderung)Notwendigkeit der Ausschreibung im Vertrag geregelt

Kommission kann Ausschreibungen initiieren, um neue Partner aufzunehmen (mit zusätzl. Förderung)

z. B. zur Erhöhung der Beteiligung von KMU


Monitoring und Audits

Verstärktes Monitoring des Projektoutputs auf allen Stufen (mit Hilfe externer Experten)

Jährliche Reviews Mid-term oder Milestone Review Final Review

Audits durch Kommission möglichfinanziell(zumindest eines pro IP)technischtechnologischethisch


41


STREPs


ImplementierungDas Konsortium schlägt einen detaillierten

Arbeitsplan für die gesamte Projektlaufzeit vorÄnderungen sind möglich,

brauchen aber die Zustimmung der KommissionBedingung: Keine Änderung der generellen Ziele

Keine genaue Festlegung der Verteilung der Partnerbudgets im Vertrag

Änderungen des Konsortiums sind möglich (unterliegen aber der Zustimmung der Kommission, ohne zusätzliche Förderung)


Schema zu Zahlungen und Berichten

Final activity report

Reported costs + audit certificate (mandatory)

Final payment

Periodic activity report (mid-term review : optional)

Reported costs+ (audit certificate if required)

Intermediate payment/

settlement

Detailed work plan

Initial advance

0 6 12 14 18 20 24 26 30 36 38

Months


Monitoring (Kontrolle)

Schema zum Follow-up:Kommissionsbeamter als

Projektverantwortlicher zugewiesenMid-term Review mit Hilfe externer Experten

möglich (“go/no go”-Entscheidung über Projektfortsetzung)

Technische, finanzielle, technologische und /oder ethische Audits sind möglich


Vergleich STREPs - FP5 RTD

Änderungen/Vereinfachungen: Finanzielles Regime (zuläs- sige Kosten, Kostenmodelle, EU-Förderbeiträge, Auditzer-tifikate), Vorschlag, Vertrag, Konsortialabkommen, Ge- meinsame Haftung, Implementierungsregeln, IPR

Ähnlichkeiten: Zweck, Ausmaß der Aktivitäten, Wert der Aktivitäten, Dauer, Größe des Konsortiums, Teilnehmer- typen, Ausschreibungen, Evaluierungsverfahren/kriterien, Verhandlungsstand, Follow-up, Audits


Unterschiede IPs - STREPsAusmaß der Aktivitäten unterschiedlich: daraus folgend:Wert der AktivitätenDauerGröße des KonsortiumsTypen von AktivitätenTypen von Aufforderungen (« Expressions of Interest »)Evaluierungsverfahren und -kriterien (teilweise)Verhandlungen, Konsortialvertrag, Implementierung

(teilweise)Follow-up (teilweise)


47


NoE


Zahlungsabwicklung

Jährliche Zahlung der Zuschüsse auf Basis der evaluierten Ergebnisse:Fortschritte auf dem Weg zur Integrationzusätzliche Prüfung, dass die Kosten der

Implementierung des Gemeinsamen Maßnahmenprogramms zumindest dem Betrag des Zuschusses entsprechen


Messung der IntegrationAngabe möglicher qualitativer und

quantitativer Messindikatoren im ProjektvorschlagAusmaß der wechselseitigen Spezialisierung und

Komplementarität Gemeinsame Nutzung von Infrastrukturen,

gerätschaft, Werkzeugen und PlattformenRegelmäßig gemeinsame ForschungsprojekteInteraktive Arbeit durch moderne Telekommunikation Gemeinsames WissensmanagementGemeinsame Trainingsprogramme (ForscherInnen

und anderes Personal)Schlüssiger Managementrahmen


Im Vertrag ist der maximale EU-Beitrag, aber keine Verteilung festgelegtAutonomie des KonsortiumsEliminierung einer bedeutenden Quelle für

Mikromanagement

Der Annex enthält:Gesamtbeschreibung des Netzwerksdetaillierte Planung nur für die ersten 18 Monate

Vorauszahlung: entspricht den für die ersten 18 Monate erwarteten 85% des EU-Beitrages

Vertrag und Vorauszahlung (1)


Vertrag und Vorauszahlung (2)

Vereinfachtes Unterschriftenregimeschnelleres Inkrafttreten

Konsortium designiert KoordinatorVerbindung mit Kommissionbekommt und verteilt Gelder

Konsortialabkommen ist Voraussetzung


Schema zu Zahlungen und Berichten

Jährlicher Bericht des Konsortiums an die Kommission zur Genehmigung: Überblick über die letzten 12 Monatefinanzielle Dokumente über die Kosten zur Implementierung

des Gemeinsamen Maßnahmenprogramms (inkl. Zertifikate und Rechtfertigung auf “management-level”)

detaillierte Planung für die nächsten 18 Monate

Nach Akzeptanz wird der Ausständige Vosrschuss auf 85% des erwarteten EU-Beitrages für die kommenden 18 Monate zu ergänzen


“Governance” und “Monitoring” (1)

Institutionelles Engagement der Netzwerkpartner muss gewährleistet sein

durch z.B. ein “Governing Board”, das von leitenden Repräsentanten der Partner beschickt wird

um die Integration der Partneraktivitäten zu überwachen


Verstärktes Monitoring des Projektoutputs auf allen Stufen (mit Hilfe externer Experten)

Jährliche ReviewsGelbe/Rote Karte, falls Review negativ

End-of-term Reviewzur Beurteilung des Impacts des Netzes bei der

Stärkung und der Verbreitung der Exzellenz

“Governance” und “Monitoring” (2)


Flexibilität und AutonomieAuf Basis des Implementierungsplans

Vorschlag des Konsortiums für die kommenden 18 Monate

Update der generellen Planung möglichGenehmigung der Kommission notwendig

Verteilung des Budgets auf Partner und Aktivitäten obliegt dem Konsortium

Änderungen im NetzwerkAufnahme neuer Teilnehmer als Entscheidung des

Konsortiums (ohne zusätzliche Förderung)Kommission kann Ausschreibungen initiieren, um

neue Partner aufzunehmen (mit zusätzl. Förderung)


Besondere Elemente (1)

Demonstrierter Nutzen für die Strukturierung

Beschreibung der Fragmentierung auf diesem Themengebiet

Existenz exzellenter Kapazitäten in Europa

Ein Exzellenznetz könnte eine Antwort auf ein identifiziertes Fragmentierungsproblem geben


Charkteristika eines Exzellenznetzes

Zusammensetzung der Partnerschaft: Vorhandensein von exzellenten Schlüsselpersonen

potentielle Synergie / Komplementarität Spezialisierung zwischen den Beteiligten

Qualität /Grad der vorgeschlagenen Integration




Lebensfähigkeit des Netzwerkes nach der Projektlaufzeit

Bewusstsein der hochrangigen Repräsentanten der teilnehmenden Organisationen: starkes Commitment

Sicherheit bezüglich der Finanzierung des Netzwerks über die Laufzeit hinaus


Danke

für

die

Aufmerksamkeit

Evaluierung, Reporting, Monitoring im 6. EU-Rahmenprogramm

Documents

Transcript of Evaluierung, Reporting, Monitoring im 6. EU-Rahmenprogramm