Le challenge EVEREST s’adresse à la communauté scientifique (académique et industriel) et vise à proposer des algorithmes de détection de comportements potentiellement dangereux des usagers de remontées mécaniques basés sur le traitement et l’analyse des séquences d’images issues d’une base de données vidéo acquise sur site expérimental.
Les algorithmes proposés par les candidats ont été évalués lors de la première édition du challenge EVEREST spécialement dédié à l’étude qui a eu lieu du 9 au 12 mai 2022 au siège du STRMTG de Saint-Martin d’Hères.
Les candidats au challenge peuvent visualiser dans les onglets de la page "Base de données vidéo" des extraits de chacune des séquences afin d’identifier le type de situation à risque ainsi que l’orientation de la caméra sur lesquels ils souhaitent proposer un algorithme de détection.
Une fois ce choix effectué, les candidats ont la possibilité de s’inscrire sur la détection de l’un ou de l’ensemble des types de comportements à risques en utilisant le formulaire dédié et de demander l’accès aux bases de données test.
Un document "Clauses contractuelles relatives à la mise à disposition et au transfert d'images vidéo annotées dans le cadre du projet d'étude EVEREST" sera alors envoyé au candidat qui devra le renvoyer signé au STRMTG de Saint-Martin d’Hères. A l’issue de cette procédure, les bases de données test seront envoyées par voie postale au candidat. Celui-ci pourra alors développer et optimiser ces algorithmes grâce à la vérité terrain fournie sous la forme d’un fichier XML. Le candidat s’engagera à participer au challenge et à y fournir une machine virtuelle intégrant un exécutable de l’algorithme afin de pouvoir l’évaluer sur un poste hôte et sur la base de donnée évaluation non connue des candidats. La solution proposée devra fournir en sortie un fichier XML du même format que celui de la vérité terrain.
L’évaluation de la solution proposée sera réalisée par comparaison des deux fichiers XML (XML candidat versus XML vérité terrain) sur la -non-détection de la (des) frame(s) de l’évènement et à déduire notamment la sensibilité et la précision. Différents critères seront donc calculés et qui sont basés sur TP, FN, FP et IoU des bounding-box, que soit au niveau événement (plusieurs images consécutives par exemple pour les évènements MP et PD) ou au niveau frame (un seul image pour l’évènement GC, MP et PD). Habituellement, le seuil de l’IoU est fixé à 0.5 mais dans le cadre du challenge, nous garderons la liberté de faire varier ce seuil de validation.
Le temps réel n'est pas vérifié dans cette édition du challenge. La rapidité de détection est prise en compte dans le sens où la détection doit se faire au plus proche des frames TD et TF sans quoi cela se répercutera dans le calcul des TP, FP, FN ... Il n'y a pas de contrainte sur la vitesse d'inférence dans la mesure ou cela reste raisonnable, puisque les algorithmes de tous les candidats au challenge seront testés sur une BdV-Validation sur une demi-journée.
Dans le cas ou le fichier XML vérité terrain comporterait des tags "maintenance" (correspondant à des frames de moments de maintenance), elles ne doivent pas être prises en compte et ne seront pas évaluées dans le challenge. En toute logique, le XML candidat n’en comportera pas.
Enfin, l’évaluation des algorithmes candidat sera réalisée sur la BdV-Validation avec la même vue que celle demandée pour la BdV-Test. En d’autres mots, seules les séquences sont différentes.