Job Description

Introduction

Les pays et les entreprises ont depuis quelques années décidé de faire évoluer leur façon de protéger les citoyens. Les solutions de vidéosurveillance ont émergé un peu partout dans le monde. Les pays développés comme les États-Unis ou l’Angleterre ont une politique très poussée sur ce type de protection. Les pays en voie de développement considèrent également la vidéoprotection comme une solution pour faire baisser la criminalité : en exemple, Mexico était la ville la plus dangereuse du pays et a mis en place un projet sur 3 ans de vidéosurveillance pour un total de 460 millions de dollars. Ce projet entre Thales, Mexico et Telmex, avait pour but de permettre à la ville de gérer un grand nombre de risques, tels que la délinquance, le terrorisme, les attaques de sites stratégiques ou encore les risques naturels. Cela a nécessité le déploiement de 8080 caméras et capteurs.
Des solutions à plus petite échelle se développent avec par exemple la société iwatchlife au Canada. Cette entreprise propose une solution de vidéoprotection contre les effractions et autres évènements anormaux et vous les transmet sur votre téléphone mobile.
Dans toutes ces situations, il est nécessaire d’avoir un opérateur qui doit regarder l’ensemble des vidéos produites par les caméras afin de détecter les évènements dangereux, anormaux, inhabituels. Dans un premier scénario, l’objectif est de détecter le plus rapidement possible ces évènements. Cependant, il a été montré qu’un opérateur ne peut pas suivre plus de 7 caméras en simultanés. De plus, le travail étant très répétitif, l’attention de l’opérateur diminue avec le temps. Le risque de ne pas détecter un évènement important augmente rapidement. Pour des raisons de cout, il est impossible de surveiller de manière humaine toutes les caméras en temps réel et dans des bonnes conditions.
Les vidéos sont donc stockées et utilisées pour revenir sur ces évènements. Ceci défini donc un deuxième scénario où l’information est traité offline. Mais au vu de la quantité de caméras, le temps nécessaire pour visualiser l’ensemble de vidéos enregistrées demande beaucoup de ressources humaines et le problème d’attention et de concentration réapparait.

Les outils de vidéo protection

Pour résoudre ces problématiques, des outils de vidéo protection ont vu le jour. Ces outils ont été conçus pour répondre à un besoin précis tel que la détection de bagage abandonné, le tracking de personnes, l’association bagage/personne, la détection de mouvement de foule ou encore la détection d’évènements anormaux. Pour ce dernier, l’objectif est de définir une normalité afin de pouvoir détecter les anormalités. Une des approches les plus courantes est basée sur l’apprentissage. On définit par exemple une zone où les gens sont en général présents et toutes personnes en dehors de cette zone sont donc dans une situation anormale. Ces outils nécessitent donc une vérité afin d’apprendre ce qui est normal et/ou ce qui est anormal. Cependant lorsque l’on sort de situations apprises, les systèmes ne savent pas nécessairement comment réagir rapidement. C’est ici que des outils basés sur les cartes de saillance peuvent entrer en jeux.

Le concept de la saillance

La saillance est la manière de modéliser l’attention visuelle en informatique qui est elle-même la capacité naturelle de se concentrer de manière sélective sur un stimulus extérieur et de ne pas prendre en compte les informations voisines moins importantes. On peut distinguer deux approches, la première est dénommée « bottom-up » et la seconde « top-down ».
L’approche “bottom-up” est basée sur l’extraction de caractéristiques issue du signal vidéo qui peut constituer de l’information nouvelle, rare, ou surprenante. L’idée est de trouver l’information la plus pertinente et de supprimer l’information redondante ou habituelle. Cette approche est basée sur l’extraction de caractéristiques telles que la luminance, la couleur, la texture, l’intensité du mouvement, la direction du mouvement ou la symétrie. Sur ces caractéristiques, l’approche modélise notre capacité de trouver de manière involontaire l’information la plus importante. Cette approche à l’avantage d’être basé sur un phénomène bien compris ce qui facilite la modélisation.
L’information « top-down » est basée sur la connaissance de notre environnement et peut être classifiée principalement en deux catégories. La première est basée sur notre connaissance du contexte et la mémoire à long terme et concerne la localisation spatio-temporelle des objets ou des évènements. La deuxième est basée sur la reconnaissance d’objets ou d’évènements spécifiques qui sont susceptibles d’attirer l’attention du système.
Alors que l’attention « bottom-up » mesure la surprise qu’un système peut avoir quel que soit la situation, même dans des cas inconnus, l’attention top-down se spécialise sur des situations et des applications connues. L’attention finale est une combinaison de ces deux approches ce qui mène à des systèmes spécialisés dans des applications précises (top-down), mais qui sont capables de réagir même en cas d’évènements imprévus (bottom-up).

Application des outils

En combinant les deux approches précédentes, il serait possible d’obtenir un outil permettant de remonter des évènements définis comme anormaux, des évènements saillants et de redéfinir la normalité. Une des applications serait donc de résumer l’ensemble des évènements anormaux et saillants. Actuellement, les outils en place fonctionnent par extraction d’aperçus-écrans, ce qui fait perdre l’aspect temporel et le contexte, ou en accélérant le contenu, menant à un taux de résumé relativement faible et/ou les évènements courts disparaissent.

Sujet et planning

Les objectifs de cette thèse sont donc :
• État de l'art sur les descripteurs spatio-temporels
• État de l'art sur la saillance
• État de l'art sur la détection d'événement anormaux en vidéo surveillance
• État de l'art sur le résumé vidéo
• Analyse et développement d'outils, tests comparatifs et capture de données
• Développement d'une approche de détection de la saillance spatio-temporelle
• Application à la détection des événements anormaux et au résumé vidéo dans des cas de vidéo surveillance

Encadrement

Le doctorant sera en cotutelle avec le professeur Bernard Gosselin et le Dr. Matei Mancas de l’université de Mons et le professeur Robert Laganière de l’université D’Ottawa.
Le professeur Robert Laganière, de l’université d’Ottawa, travaille au sein du laboratoire « Vision, Imaging, Video and Autonomous Systems” avec 2 autres membres permanents et plus d’une vingtaine d’étudiants. Ce laboratoire a de forts liens avec des chercheurs internationaux et des entreprises locales travaillant sur la vision par ordinateur. Le professeur Robert Laganière est l’auteur de "OpenCV Computer Vision Application Programming" publié par Packt Publishing, et le coauteur de "Object-Oriented Software Engineering" publié par McGraw Hill. Ses intérêts en recherche sont dans la vision par ordinateur, le traitement de l’image et ses applications en vidéo surveillance, la détection et la reconnaissance de personne et l’analyse vidéo
Le professeur Bernard Gosselin et le Dr. Matei Mancas, de l’université de Mons, travaillent dans le domaine du traitement d’images avec une spécialisation sur l’attention visuelle au sein du laboratoire Théorie des Circuits et Traitement du Signal qui est composé de plus de 30 personnes dont 3 personnes travaillent spécifiquement sur la saillance et l’attention visuelle. Le groupe d’attention visuelle s’intègre aussi dans l’institut Numediart sur les technologies créatives de l’université de Mons.

Répartition du temps de travail :

Le candidat passera 2 ans à Mons (Belgique) durant lesquels il acquerra une expertise en modèle de saillance. Il s’en suivra un séjour de 2 ans à Ottawa (Canada) ou il pourra mettre en application son expertise dans différents cas pratiques de vidéo protection tels que la détection d’évènements anormaux ou encore le résumé vidéo.

Financement et salaire

Le candidat sera financé pendant 2 ans par l’université de Mons puis pendant 2 ans par l’université d’Ottawa.
Son salaire sera de 1900€ par mois durant son séjour Belgique. Ce salaire est net de toute forme d’imposition et il aura droit à 5 semaines de congés payés. Il devra s’acquitter des frais d’inscription à l’université de Mons.
Pendant son séjour au Canada, le salaire sera de 1690 $CA par mois. Ce salaire est net et le candidat devra s’acquitter des frais d’inscription à l’université d’Ottawa. Il aura droit à 2 semaines de congés payés.

Follow @eurasip