Post on 25-Jul-2020
08 avril 2016
Retour d’expérience du CNG sur les ECNi tests de mars 2016
Projet ECNi
2
Organisation du CNG prévue pour chaque session d’épreuves
08 avril 2016
Cellule de
supervision et
de coordination
technique
Prestataires
Supervision
fonctionnelle
des épreuves
JURY
CS
3
7%
23%
70%
Suivi des conformités suite aux audits de labélisation
6%
94%
Suivi des conformités en date d'aujourdhui
Point d’avancement sur la labélisation des centres d’épreuves
Pré-labélisation Les 34 centres d’épreuves sont tous pré-labélisés (levée des non-conformités majeures)
Labélisation en vue des ECNi de juin 9 centres d’épreuves sont déjà labélisés, 6 sont en cours de labélisation
5 centres d’épreuves n’ont pas encore répondu : Bordeaux, Nancy, Poitiers, Strasbourg, Tours
08 avril 2016
4
Liste des universités / facultés labellisées
08 avril 2016
Université / Faculté Date du PV Université / Faculté Date du PV
NICE 25 mars 2016
DIJON 25 mars 2016
CAEN 1er avril 2016
LILLE 2 1er avril 2016
MARSEILLE 1er avril 2016
PARIS 6 – UPMC 1er avril 2016
RENNES 1er avril 2016
ROUEN 1er avril 2016
SAINT-ETIENNE 1er avril 2016
5
Problèmes de sécurité identifiés pendants les épreuves de mars 2016
Accès illicites par certains candidats à des images liées aux épreuves S’explique par le caractère prédictible du nom des images transmises par IPOMEN
Ne permet toutefois pas d’accéder en avance aux épreuves (sujets chiffrés)
Les tentatives d’accès illicites sont détectées en temps réel par la supervision applicative, ce qui permet d’identifier le
candidat et de prévenir le centre d’épreuves le cas échéant
Nécessité de rendre non prédictible le nom des images (action en cours)
Accès à des données stockées en cache sur la tablette Certains candidats semblent avoir pu accéder à SIDES ou à des épreuves ECNi avant le démarrage de l’épreuve
Investigations en cours mais semble être lié à la présence de données en « cache » (historique de navigation Safari)
Pas d’impact car cela ne concerne pas les épreuves en cours ou à venir, et les données ne sont pas réellement exploitables
(pas de navigation possible du fait que la session ait expiré)
Hétérogénéité dans la configuration des tablettes Informations remontées comme quoi certains candidats auraient pu accéder à d’autres ressources sur leur tablette que
l’application ECNi (Safari)
Laisse à penser que certaines tablettes n’étaient pas configurées en mode « kiosque » (application unique)
Nécessité de mettre en place un profil iPad type pour « durcir » l’ensemble des tablettes pendants les épreuves (action en
cours)
08 avril 2016
Solution technique mise en œuvre
pour les ECNi
• Architecture réseau mise en place : L3VPN dédié afin d’isoler les flux ECNi + raccordement direct des Datacenters sur le réseau RENATER
• Les 34 centres d’épreuves sont désormais tous inscrits dans le L3VPN-ECNi
• Aucun incident n’a été identifié sur le réseau RENATER durant les ECNi tests de mars
• Le CERT RENATER a actionné des mécanismes de mitigation afin de contrer des attaques. Celles-ci ne ciblaient pas les ECNi.
• A ce jour, 13 accès de secours 4G sont déjà déployés, une dizaine d’autres est en cours de déploiement. Un test unitaire est réalisé systématiquement pour validation du bon fonctionnement. Un test en « conditions réelles » via SIDES sera réalisé avec les universités qui le souhaite
• Trois sites en attente de confirmation pour la solution de secours : Besançon, Paris 11, Reims
08 avril 2016 6
Métrologie réseau
Datacenter
7
Incoming : Flux ECNi Datacenter -> Centres d’épreuves
Outgoing : Flux ECNi Centres d’épreuves -> Datacenter
09 mars
2016
Raccordement du
Datacenter CNG au réseau
RENATER : confirmation
que le dimensionnement
réseau est adapté aux
volumes de données ECNi
échangés (pic d’utilisation :
20 % de la capacité totale)
08 avril 2016
08 mars
2016
Métrologie réseau
d’un centre d’épreuves
8
Incoming : Centre d’épreuves -> Datacenter Outgoing : Datacenter -> Centre d’épreuves
08 mars
2016
09 mars
2016
08 avril 2016
© 2011 – Gfi Informatique
Bilan global
> Le mécanisme de télédistribution fonctionne bien
• Les cas aux limites sont gérés par l’organisation mise en place
> Le mécanisme de démarrage de l’épreuve est satisfaisant
• Environ 95% des démarrage se font automatiquement dans les 20 secondes suivant l’ordre
• Le reste est résolu par un rafraichissement de la page par le candidat
> Composition
• La composition des DCP et des QI est fluide
• Activation de la fonctionnalité d’ordre aléatoire des propositions de réponses
• Une dizaine de type d’anomalies recensées sur l’ensemble de ces épreuves à investiguer
pour analyser des comportements non prévus
• Détection et analyse de micro-coupures réseaux qui peuvent provoquer la nécessité de
recharger la page par le candidat
08 avril 2016
9
© 2011 – Gfi Informatique
Reste à faire pour Juin 2016
> Consolider l’interface de composition
• Quelques aspects d’affichage identifiés à améliorer
• Corriger les quelques anomalies détectées
> Améliorer la sécurité
• Prendre en compte l’audit sécurité de Solucom
• Rendre non prédictible l’accès aux images
> Améliorer
• Fonctionnalités de supervision
• Correction automatique (temps de traitement)
• Fonctionnalités « back-office » diverses
08 avril 2016
10
© 2011 – Gfi Informatique
Focus LCA
08 avril 2016
> Constat
• Epreuve LCA le 09/03/2016 matin : volumétrie des connexions simultanées très élevée et
soudaine (vers 9h45) atteignant la limite de 20 000 connexions simultanées
• Epreuve LCA de réserve le 10/03/2016 matin : phénomène identique par 2 fois en début
d’épreuve (vers 9h05) et en milieu d’épreuve (vers 10h50)
> Explications
• L’épreuve de LCA permet au candidat (en plus de pouvoir répondre à des questions sur le
module de composition) d’annoter / surligner un article
• Le nombre d’annotations est variable tant sur la fréquence d’utilisation que sur la volumétrie
• La fonction de surlignement a été très fortement utilisée durant les épreuves de LCA
11
© 2011 – Gfi Informatique
Focus LCA
08 avril 2016
> Forte activité sur le nombre de requêtes sur le système d’annotation (surlignage) en
vert (article 1) et violet (article 2)
12
© 2011 – Gfi Informatique
Focus LCA
> Identification d’un goulot d’étranglement sur un composant d’infrastructure de
répartition de charge (limitation à 20 000 connexions simultanées)
> Ce composant limitait les entrées sur les autres composants de la plateforme
largement dimensionnés :
> Cette limitation a été atteinte plusieurs fois par la fonction de surlignement. Une fois
la limite atteinte, un phénomène de contention apparait.
08 avril 2016
Trafic des tablettes
Capacité d’absorption
de l’application et de
l’infrastructure
serveurs
Limitation des connexions simultanées
13
© 2011 – Gfi Informatique
Focus LCA
08 avril 2016
> Focus sur l’épreuve de LCA du jeudi 10 mars
• Limitation du nombre de connexions simultanées à 20 000
Ecrêtage
14
Gestion de la capacité serveurs
08 avril 2016
Performances
Serveurs PHP
Profil d’utilisation des serveurs applicatifs pendant les épreuves
de QI et DCP du mardi 8 mars
15
Gestion de la capacité serveurs
08 avril 2016
Performances
Serveur PostgreSQL
Profil d’utilisation du serveur de base de données pendant les
épreuves de QI et DCP du mardi 8 mars
16
Gestion de la capacité serveurs
08 avril 2016
Performances
Serveurs PHP
Profil d’utilisation des serveurs applicatifs pendant les épreuves
de LCA du mercredi 9 mars et du jeudi 10 mars
17
Gestion de la capacité serveurs
08 avril 2016
Performances
Serveur PostgreSQL
Profil d’utilisation du serveur de base de données pendant les
épreuves de LCA du mercredi 9 mars et du jeudi 10 mars
18
Gestion de la capacité serveurs
08 avril 2016
Conclusions :
Les épreuves de QI et de DCP sont conformes en termes de comportement à ce qui a été
constaté au cours des sessions précédentes et au cours des tests de performances réalisés.
Constat sur la LCA : la limite de 20 000 connexions simultanées sur le Load Balancer est
atteinte et provoque une indisponibilité de l’accès à l’application. L’explication de ce
dysfonctionnement (comportement non attendu) pourrait résider a priori dans le nombre
d’articles (2), et dans l’utilisation plus importante qu’estimée des fonctions d’annotations des
étudiants. Les tests de performances menés jusque-là n’avaient rien révéler d’anormal.
Des investigations sont toujours en cours pour expliquer ce nombre de connexions simultanées
très important, et des améliorations ont été réalisées pour porter la limite à 60 000 connexions
simultanées.
19
20
Points positifs • Satisfaction de la part de l'ensemble du personnel d’avoir le même intervenant
• Bon accueil des intervenants S30 par le personnel des facultés
• Valorisation du rôle des techniciens et augmentation des responsabilités
• L’implication de tous les participants
• L’accès à la supervision pour les techniciens
• Le chat interne S30 pour la remontée rapide des anomalies
• Le bon déroulement des épreuves (hors LCA)
• La bonne communication avec les étudiants particulièrement dans les
moments de stress
• Une nette amélioration du système constatée qui a permis de rassurer
l’ensemble des acteurs du projet
Axes d’amélioration • Améliorer la communication en temps réel (blocage du chat CNG et problème de
lenteur)
• Mettre en place un compte à rebours en début et fin d’épreuve
• Instaurer un profil identique sur toutes les tablettes au niveau national
• La visualisation des reports de temps sur la tablette pour éviter les interruptions
• Le suivi des incidents déclarés
8 avril 2016
21
En synthèse : une qualification du système (hors LCA)
08 avril 2016
Modules qualifiés :
Inscriptions / convocations
Transmission des sujets / Validation eBAT
Connexion des centres / Démarrage technique
Connexion des étudiants / Mot de passe chiffré
Composition DCP-QI / Réponses aléatoires
Supervision nationale / locale
Correction automatique / Classement
Module non qualifié à ce jour :
Module LCA permettant l’annotation/surlignement des articles
(il est à noter que la composition fonctionne normalement,
étant de type DCP)
Décision prise le 29 mars de fournir les 2 articles LCA en papier
22
Synthèse des résultats du questionnaire étudiant
08 avril 2016
3440 réponses reçues
Un taux de réponse (sur nombre d’inscrits) de 41%
Merci à tous les étudiants ayant pris le temps de répondre
Un taux de satisfaction global, hors LCA, de 84 %
Principal problème remonté : la LCA
23
Conventions – Etat des lieux
08 avril 2016
A cette date, 32 conventions reçues, dont 21 signées par le CNG
Il nous manque encore 2 conventions :
Brest
Strasbourg
Nous comptons sur un retour désormais rapide
de ces 2 dernières conventions
24
Session de juin : planning prévisionnel
08 avril 2016
Inscriptions candidats (CELINE) : du 31 mai au 14 juin
Livraison application ECNi corrigée V6 : le 13 mai
Tests de performances : du 18 mai au 10 juin
Transmission des sujets par le CS : au plus tard le 27 mai
Validation des sujets et génération e-BAT : entre le 30 mai et le 10 juin
Epreuves : du 20 au 22 juin (secours les 23 et 24 juin)
Correction par le Jury : 27 et 28 juin
Publication des résultats : le 29 juin après-midi
Merci pour votre attention !