Etat de l'art :

Il est connu que pour surveiller des procès scientifiques, des process industriels ou des endroits privés ou bien fréquentés par du public, on installe un système de vidéosurveillance composé de caméras capables de capter des flux d'images des endroits à surveiller. Nous orienterons nos explications autour de la vidéosurveillance de sécurité, mais le principe de l'invention reste valable pour toute surveillance vidéo de scènes dynamiques.

Lesdites images sont captées à des fréquences déterminées avec des capteurs montés sur des équipements dits communément caméras. Ces capteurs peuvent être analogiques ou numériques. Ils opèrent communément dans le domaine des fréquences de lumières correspondant au spectre visible. Ils existent des capteurs couleur mais aussi des capteurs donnant l'image en nuance de gris. Il est aussi connu pour la vision nocturne ou dans des endroits à faible illumination d'utiliser des capteurs opérants dans l'infrarouge de sorte à capter l'émission infrarouge donnée par tout corps en fonction de sa chaleur, ceci crée un contraste suffisant pour distinguer des corps chauds comme ceux des humains ou bien des animaux ou des véhicules motorisés dans leur environnement alors qu'ils ne sont pas ou sont peu discernables dans le spectre visible.

Ces informations sont souvent envoyées vers des centres de surveillance, sous format de signaux analogiques ou digitaux. La transmission peut se faire par support physique on parle alors de transmission filaire ou bien elle peut aussi se faire tout ou partie sans fil.

Lesdits centres de surveillance font au moins une des fonctions suivantes : affichage sur écran des champs de vision observées, stockage de l'information sur support analogique ou numérique pour d'éventuelles investigations ou bien consultations ultérieures.

La fonction affichage permet à des opérateurs de superviser les champs de vision des caméras afin de détecter en temps réel toute anomalie ou bien ce que nous appellerons événements recherchés dont les malversations, dégradations, chutes, incendies, vols, violations de règles, etc...

La fonction stockage ou sauvegarde permet de :

Revenir vers les enregistrements si des anomalies ont été détectées lors de l'observation temps réel par les personnes en charge de la supervision et qu'il faille revérifier les scènes en question

Revenir vers les enregistrements si des anomalies ont été détectées après coup et qu'il faille revérifier les scènes en question

Constituer un mode de preuve de responsabilité en cas de litige avec les personnes incriminées pour justifier des sanctions, poursuites judiciaires, etc...

Il est bien évident que la détection temps réel de tout incident est souvent la forme la plus efficace pour le traitement car elle permet une investigation, voir une mise en demeure au plus proche du moment de l'incident. Le temps passant les pièces à conviction, les indices, les personnes incriminées ou les témoins peuvent disparaitre ou se dégrader avec le temps. Toutefois, l'opération de supervision présente trois difficultés majeures.

1- Vu que le temps d'occurrence d'un incident type vol ou vandalisme rapporté au temps global de supervisons est extrêmement petit, la probabilité d'avoir l'attention maximale d'un opérateur de supervision au moment même où un incident se produit est extrêmement faible.

2- De plus, dans les salles de supervision il y a souvent plusieurs écrans à surveille en simultanée pour chaque opérateur ce qui rend encore plus faible la probabilité de repérage en temps réel des actes malveillants.

3- Dans un grand nombre des cas le nombre d'écrans est nettement inférieur au nombre de caméras ou des flux vidéo entrants ce qui pratiquement conduit au sacrifice de certains flux vidéo qui seront occultés et ne seront consultés qu'en mode investigation après occurrence ou soupçons d'incident.

L'utilisation des systèmes de supervision se faisait essentiellement dans un but dissuasif et pour consultation et investigation après coup lorsqu'un incident ou bien un soupçon d'incident est identifié.

C'est pour cela que nous avons vu apparaitre des systèmes d'analyse et de détection automatique d'un ensemble événements recherchés identifiables par l'intelligence artificielle dont les actes malveillants ou potentiellement dangereux et qui renvoient instantanément la séquence vidéo incriminée vers les personnes en charge de la supervision pour un dernier jugement.

Un des exemples les plus connus de cette détection automatique est basé sur la définition d'une zone critique dans le champ de vision de la caméra puis on détecte l'apparition ou la disparition de tout objet dans cette zone. D'où l'apparition de personnes dans un espace où dans l'horaire imparti où des personnes ne sont pas censés y être présentes (cas de locaux fermés sans présence de garde, entrée d'un garde de nuit dans l'espace caisse) serait considéré comme suspecte. Par contre l'absence pour non passage à des intervalles d'horaire donnés d'un agent de garde dans les passages préétablis de sa ronde (tournée des agents de sécurité) pourrait être considéré comme anomalie.

Un arrêt prolongé dans une zone critique à certaines heures de la journée pourrait aussi être considéré comme suspect.

L'apparition sur l'image de ce qui pourrait être assimilé à un feu ou une fumée pourrait aussi être considéré comme suspect.

Dans le cas d'événement douteux, des alertes sont générées en temps réel. Les alertes peuvent être sous forme de message au niveau des postes de control du poste de surveillance, d'SMS, d'e-mail, ... ou bien tout autre média choisi par l'utilisateur.

L'introduction de l'intelligence artificielle a eu pour objectif d'aider l'opérateur de supervision ou de se substituer à ce dernier dans au moins une partie de ses fonctions actuelles ce qui a donné lieu à deux modes d'utilisation :

Inspection automatique et en temps réel de flux entrants préalablement sélectionnés quel que soit le mode de détection et d'alertes postérieures

Inspection dans le cadre d'investigation où un opérateur inspecte manuellement ou bien en mode assister après coup des enregistrements vidéo pour comprendre des situations ou établir des preuves. Dans le mode investigation, l'avancement ou l'arrêt du flux à analyser peut-être lancer et ou interrompu manuellement par l'opérateur et il n'y a pas de process (séquencement des opérations) d'analyse prédéfini de bout en bout comme dans le process d'analyse automatique qui se fait sur le flux temps réel.

Dans l'état de l'art connu, le travail sur les flux vidéo sauvegardés ne se fait qu'en mode investigation.

Description de l'art antérieur :

La figure 1 décrit le dispositif le plus basique de la vidéo surveillance avec un réseau de caméras, digitales ou analogiques 1, qui transmet ses données vers un système de de supervision 2 ou un système de supervisons et sauvegarde qui supporte des applications informatiques qui offrent une interface homme machine permettant de:

Paramétrer les modes de visualisation des flux vidéo des différentes cameras et la gestion de leur affichage au niveau des postes de surveillance 5

Gérer la sauvegarde des flux vidéo entrants

Visualiser après coup en mode investigations ou vérification les flux vidéo sauvegardés

Le système de de supervision 2 est relié à un centre de supervision 3 comportant au moins :

Un opérateur de vidéo-surveillance 4

Des moyens de visualisation des flux vidéo 5

La figure 2 décrit un mode de réalisation où on ajouterait une couche d'intelligence artificielle pour assister l'opérateur de supervision 4 dans la détection des événements recherchés. Le premier maillon de la vidéosurveillance est un réseau de caméras, digitales ou analogiques 1, qui transmet ses données vers un système de de supervision 2 ou système de supervisons et sauvegarde qui supporte des applications informatiques qui offrent une interface homme machine permettant de:

Paramétrer les modes de visualisation des flux vidéo des différentes camera et la gestion d e leur affichage au niveau des postes 5

Gérer la sauvegarde des flux vidéo entrant

Visualiser après coup en mode investigations ou vérification les flux vidéo sauvegardés

Le système de de supervision 2 est relié à la fois à : un centre de supervision 3 comportant au moins : o Un opérateur de vidéo-surveillance 4 o Des moyens de visualisation des flux vidéo 5

Un serveur d'analyse et de détection automatique d'événements recherchés et de lancement des alertes 6 qui fait du traitement d'images sur les flux vidéo entrants et lorsqu'il détecte des événements potentiellement recherchés par la supervision envoie des alertes 7 qui peuvent prendre plusieurs formes possibles dont : o Un signal au niveau du poste de supervision o Des sms o Des e-mails o Une alerte sur des smartphones préalablement programmés

Ces alertes sont faites avec ou bien sans lien d'ouverture d'une vidéo qui encadre dans le temps ledit « événements potentiellement recherchés par la supervision ». Les moyens de supervision 5 permettent aussi de paramétrer le fonctionnement du serveur d'analyse automatique et le système de lancement et de gestion des alertes.

Pour chaque situation critique recherchée dans l'opération de supervision, le dispositif d'analyse utilise ce que nous appellerons des filtres dédiés. Par exemple, pour une présence humaine dans une zone critique, la définition du filtre consiste en la définition ou la distinction dans le champ de vision de la caméra, d'une ou plusieurs zones critiques au regard des évènements recherchés et le paramétrage de la situation critique recherchée par l'opération d'une application de recherche automatique comme la recherche d'une présence humaine dans des plages horaires données. Pour un parking de véhicule dans une zone où le parking est interdit ou gênant, on créerait un filtre quasi identique au précédent mais on recherchera la présence de voitures au lieu de la présence humaine. On peut ainsi créer différents types de filtres qui sont reliés à des caméras précises et des situations précises (présence, absence, présence prolongée, humain, voiture, fumée, feu...).

Dans les systèmes connus d'analyse des flux vidéo de la vidéosurveillance, on distingue entre le mode supervision temps réel et le mode investigation semi manuel qui travaille sur des flux sauvegardés pour répondre à des problématiques spécifiques au bon grès de l'expert qui fait l'investigation spécifique en question.

Pour le mode supervision : on commence par choisir, en fonction des ressources disponibles (capacité de calcul et nombre de licences), les flux vidéo qui seront analysés dans le dispositif d'analyse et de détection automatique d'événements recherchés .Dans le cas d'installation à très grand nombre de caméras, il arrive que certains flux vidéo issus de certaines cameras ne soient pas traités à cause de la saturation des serveurs d'analyse ou la non disponibilité de licences.

Après, on choisit le type de ou des filtres qui seront appliqués sur chaque flux vidéo (tel que détection d'intrusion, de fumé, de chute...) en fonction des risques spécifiques de chaque zone, de la disponibilité des ressources en équipements et licences et le choix de l'expert qui a fait le paramétrage du module d'analyse.

Enfin on lance l'application qui travaille en un mode d'analyse en temps réel et en parallèle des flux vidéo choisis

En mode investigation il s'agit de lancer, arrêter, rejouer, avancer manuellement ou semi- manuellement des opérations d'expertise relatives à des situations données.

La figure 3 décrit un mode de réalisation optimisé avec recomposition du image tel que décrit dans la demande de brevet tunisien n° : TN2022/0173 du 24 juin 2022. Le premier maillon de la vidéosurveillance est un réseau de caméras, digitales ou analogiques 1, qui transmet ses données vers un système de de supervision 2 ou système de supervisons et sauvegarde qui supporte des applications informatiques qui offrent une interface homme machine permettant de :

Paramétrer les modes de visualisation des flux vidéo des différentes cameras et la gestion de leur affichage au niveau des postes 5

Gérer la sauvegarde des flux vidéo entrants

Visualiser après coup en mode investigations ou vérification les flux vidéo sauvegardés Le système de de supervision 2 est relié à la fois à : un centre de supervision 3 comportant au moins : o Un opérateur de vidéo-surveillance 4 o Des moyens de visualisation des flux vidéo 5

Un serveur d'analyse automatique et de lancement des alertes 6 qui fait du traitement d'images sur les flux entrants et lorsqu'il détecte des événements potentiellement recherchés par la supervision, renvoie des alertes 7 qui peuvent prendre plusieurs formes possibles dont : o Un signal au niveau du poste de supervision o Des sms o Des e-mails o Une alerte sur des smartphones préalablement programmés

Ces alertes sont préférentiellement faites en renvoyant simultanément avec l'alerte un lien d'ouverture d'une vidéo qui encadre dans le temps ledit « événements potentiellement recherchés par la supervision ».

Les moyens de supervision 5 permettent aussi de paramétrer le fonctionnement du serveur d'analyse automatique et le système de lancement et de gestion des alertes.

Le serveur 6 d'analyse automatique des flux vidéo et de lancement des alertes, contient 3 modules principaux :

Module ou application intermédiaire de recomposition de flux 8

Module d'analyse des flux vidéo dont au moins 1 est issue du module de recomposition 9

Module de génération et de gestion des alertes 7

D'autres variantes de l'invention pourraient consister en la localisation de ces 3 modules sur 2 ou 3 serveurs différents.

Le paramétrage du module intermédiaire se fait souvent tout comme le module d'analyse au niveau du poste de supervision 5.

Les figures 4a, 4b, 5a, 5b, 6a, 6b et 7 donnent un exemple de recomposition d'image dans lequel 3 flux vidéo sont recomposés en 1 un seul flux pertinent en termes d'analyse.

La figure 4b, montre que pour détecter l'intrusion, dans un premier temps seul l'observation de la zone 4bl est intéressante. Il est donc inutile de faire le traitement sur l'ensemble de l'image en termes d'intrusion, seule cette zone 4bl sera retenue dans l'image recomposée.

Dans la figure 5b, seule les zones 5bl et 5B2 sont intéressantes pour détecter l'intrusion. Il est donc inutile de faire le traitement sur l'ensemble de l'image en termes d'intrusion, seules ces zones 5bl et 5b2 seront retenues dans l'image recomposée.

Dans la figure 6b, seule les zones 6bl, 6B2 et 6B3 sont intéressantes pour détecter l'intrusion. Il est donc inutile de faire le traitement sur l'ensemble de l'image en termes d'intrusion, seules ces zones 6bl, 6B2 et 6B3 seront retenues dans l'image recomposée. La figure 7 donne un exemple d'image recomposée à partir des images 4bl, 5bl, 5b2, 6bl, 6B2 et 6B3. Le flux vidéo correspondant à l'image recomposée 7 sera traité comme un flux vidéo unique.

Le traitement du flux vidéo correspondant à l'image 7 pour un risque donné, comme l'intrusion par exemple, pourrait se faire avec un filtre unique couvrant l'ensemble des extraits d'images. D'où une rapidité certaine de traitement. Par exemple, dans le cas des figures 4a, 5a et 6a on remplacerait 6 opérations d'analyse (1 sur la figure 4a, 2 sur la figure 5a et 3 sur la figure 6a) par une seule analyse sur la figure 7.

Afin d'optimiser l'espace dans le flux vidéo recomposé, dans la phase de recomposition d'image, des portions d'image peuvent être transformées par des bijections point à point donc réversibles pour occuper des espaces qui ont des géométries différentes. Par exemple un trapèze peut être transformé en rectangle.

La résolution du flux vidéo correspondant à l'image 7 pourrait être abaissée comme dans le cas de détection des intrusions par exemple. D'où une rapidité certaine de traitement.

La figure 8 donne un exemple ou un détail de l'image de la figure 6a a été transformer pour être inséré dans un espace resté inoccupé dans l'image de la figure 7. Ceci pour dire que toutes les transformations sont possibles tant qu'elles sont mathématiquement réversibles pour permettre de retrouver l'image initiale et de situer l'incident potentiel dans son champ de vision original.

S'il y a alerte, le séquence vidéo renvoyée pour l'alerte pourrait être celle du flux vidéo original non recomposé.

Inconvénients de l'art antérieur :

Dès que le nombre de caméras dépasse 2, les systèmes d'analyse et de détection automatique d'événements recherchés actuels peuvent surconsommer inutilement les ressources informatiques lors de l'opération de supervision et il y a lieu d'optimiser le process.

La contrainte du temps réel : la supervision temps réel et en parallèle de tous les flux vidéo : Impose : o L'utilisation de moyens (équipements et licences) pour un défilement à vitesse réelle alors qu'en général les moyens informatiques mis en œuvre permettent de procéder à des vitesses beaucoup plus élevées o De travailler parfois en temps réel sur des flux où la détection avec une certaine latence pourrait être acceptée et par conséquent pourrait être fait sur des moyens dédié à la détection temps réel quand cette dernière ne doit pas se faire 24h/24. o II existe des flux dont la supervision pendant 24h n'est pas nécessaire mais dont les plages horaires pertinentes sont synchrones ou du moins en partie synchrones. La possibilité de traiter un des deux flux en différé pourrait, dans certain cas, ouvrir la porte à des optimisation de ressources.

Résolution des images : il est connus que dans le cas de la vidéosurveillance, la bonne résolution des caméras et la capacité de stockage élevée des serveurs associés sont importants pour pouvoir, si besoin et lors de phases d'investigation, agrandir ou lire des détails comme des visages ou bien des plaques d'immatriculation, toutefois, pour des opérations de reconnaissance automatique avec des filtres du type intrusion dans une zone ou bien franchissement de ligne, nous n'avons pas toujours besoin de pareille résolution. Le traitement d'image de flux vidéo à haute résolution serait donc dans certains cas inutiles à ce stade de la détection des incidents. La réduction de la résolution des images à l'entrée du module d'analyse permettrait d'accélérer le traitement et de réallouer les ressources informatiques à l'analyse d'autres flux vidéo ou bien la baisse générale des caractéristiques techniques du serveur d'analyse.

Objet de l'invention :

L'invention se propose de créer un mode de traitement différé des flux vidéo, dans lequel les flux vidéo dont la supervision en temps réel n'est pas indispensable, sont traités en mode différé par le dispositif d'analyse et de détection automatique d'événements recherchés.

Afin d'optimiser l'utilisation des ressources en équipements et en logiciels mis à disposition, le traitement différé peut se faire dans des vitesses de défilement supérieures à la vitesse du flux vidéo initial.

Afin d'optimiser l'utilisation des ressources en équipements et en logiciels mis à disposition, le traitement différé peut se faire avec des résolutions plus basses que la résolution du flux vidéo initial.

Afin d'optimiser l'utilisation des ressources en équipements et en logiciels mis à disposition, le traitement différé peut se faire sur des flux reconstitués avec des images recomposées à partir de 2 ou plus de flux vidéo d'origine. Afin d'optimiser encore l'utilisation des ressources en équipements et en logiciels mise à disposition, la création des flux reconstitués chercherait à grouper des images qui seraient traitées par des filtres de types identiques et ou des résolutions homogènes.

Afin d'optimiser l'utilisation des ressources en équipements et en logiciels mis à disposition, le traitement différé peut se faire lorsque les besoins en traitement temps réel baisse et donc les ressources sont moins utilisées par des traitements de flux pour lesquels il a été décidé qu'ils doivent être traités en temps réel.

Afin d'essayer malgré tout de garder un bon taux de détection malgré l'accélération du défilement des vidéo ou la baisse de la résolution, des situations de détection avec des indices de confiance faibles pourraient faire l'objet d'un retraitement avec vitesse plus réduites ou résolution plus élevée pour se réconforter avec un jugement basé sur un flux vidéo entrant plus riche ou bien le plus riche possible.

Afin de garder la flexibilité de la solution, la durée des séquences traitées serait préférentiellement paramétrable pour l'ajuster à la criticité de la rapidité d'action en fonction des cas de figures. Par exemple, sur un canal d'analyse normal, on pourrait traiter :

1 flux temps réel 24h/24h

Ou bien 2 flux différents en temps réel mais en alternance un la nuit et l'autre le jour par exemple en supposant que les risques observés le permettent

Ou bien en accélérant 2 fois, passer successivement les 24h du premier flux puis les 24 h du 2 ^ième flux, sachant que chacun des 2 flux ne prendrait que 12h à être traité.

Ou bien en alternant des séquences de 6 ou 4 heures de chaque flux accéléré 2 foi voir même 288 séquences de 5 min alternées entre les deux flux déjà accélérés. Si l'étude technique montre que l'on peut accélérer le flux un nombre de fois n sans perdre en termes de détection des risques, on pourrait alors passer n flux vidéo différent sur la même ressources d'analyse.

Mode de réalisation de l'invention :

La figure 9 montre un mode de réalisation de l'invention dans lequel l'expert humain :

1- Se pose la question pour chaque flux vidéo si l'observation temps réel est cruciale ou non. Une liste non exhaustive des facteurs pouvant influer cette décision comprends : a. La nature des risques encourus :

Exemple : Le passage ou non d'un garde en ronde de nuit peut ne pas nécessiter une observation temps réel par rapport à un port d'arme à feu dans une banque qui lui nécessite une alerte et une réaction en temps réel. b. La vitesse d'enclenchement des actions correctives envisagées

Exemple : une lecture des plaques d'immatriculation de voitures passant par un portail pourrait se faire en temps différé si l'opération ne sert qu'à enregistrer des flux entrants et sortant dans le cas où on en aurait besoin ou bien pour pointer l'heure de départ des véhicules société du lieu de travail. Cette situation ne nécessite pas d'observation temps réel. Par contre si l'observation est utilisée pour comparer à une liste préalable de véhicules indésirables, l'observation devrait être faite en temps réel et l'alerte doit être donnée immédiatement

2- Se pose la question de la vitesse optimale de défilement du flux vidéo. Dans un flux vidéo normal avec 25 images par seconde, généralement, 100% des images sont analysées. Cependant, si on cherche par exemple à détecter des chutes d'objets ou de personnes, un échantillonnage des images du flux initial toutes les seconde ou bien toute 10 à 20 secondes serait acceptable vu que le temps de réaction de toute façon est de l'ordre de plusieurs minutes. Préférablement, il faut s'assurer que le temps d'échantillonnage est inférieur au 1/100 du temps de réaction ou d'intervention.

3- Se pose la question sur l'adéquation de la résolution des images du flux vidéo par rapport à la taille des objets observés. Des hautes résolutions sont demandées dans les phases investigations pour décerner le visage d'une personne ou bien pur lire une plaque minéralogique d'une voiture. Par contre dans les phases observation comme d'une intrusion, d'un franchissement de ligne ou bien d'une chute, il n'est pas nécessaire de disposer de tous les détails dans un premier temps d'analyse. Dans cette analyse interviens : a. La taille minimale des objets observés qui est typiquement entre 5 et 10 pixels. b. La vitesse de croissance de l'espace (ou nombre de pixels) de l'objet observé dans le champ de vision.

Par exemple si une caméra observe un feu de forêt sur des portée très proches on pourrait se permettre de baisser la résolution mais si on observe sur des portés très lointaine, le départ de feu pourrait paraître petit et sa propagation à l'image peut aussi paraître lente alors que dans la réalité elle serait critique, une baisse de la résolution dans ce dernier cas ne serait pas judicieuse. Afin d'optimiser l'utilisation des ressources d'analyse on pourrait aussi procéder à des recompositions des images des flux vidéo entrant comme décrit dans la demande de brevet tunisien n° TN2022/0173 du 24 juin 2022. Cette opération de recomposition conduit en principe à réduire le produit nombre de flux vidéo analysé par le nombre de filtres appliqués. Se pose en fin la question du temps de cycle de passage du flux.

La figure 10 montre le scénario de référence ou un seul flux vidéo passe pendant une durée Ttot sur le système d'analyse.

La figure 11 montre un exemple avec 2 flux vidéo passeraient successivement sur des durées de Ttot/2 chacun sur le système d'analyse.

La figure 12 montre un exemple avec 4 flux vidéo passeraient en deux temps chacun et en alternance successivement sur des durées de T _tot /4 chacun sur le système d'analyse.

La figure 13 montre le cas générique ou le flux de chacune d'un set de n cameras est divisé en N séquences d'une durée souvent constante et que le système d'analyse traite N fois successivement les séquences du même rang des n flux vidéo.

La durée de de référence des séquences subdivisées est T _to t/N. Elle dépend de la criticité des risques observé et du temps d'intervention derrière. Par exemple si nous sommes sur des risque où le temps nécessaire pour intervenir ou bien apporter un secours serait de 10 minutes, il serait préférable que le temps T _tot /N ne dépasse pas le 1/10 du temps d'intervention soit 1 min. Autrement dit une latence de 1min dans la détection serait acceptable par rapport un temps total de détection et d'intervention de 11 min. L'avis de l'expert in fine faisant foi.

D'un autre coté si le nombre N est trop élevé, techniquement, on perdrait beaucoup de temps dans le changement de flux, donc dans le temps effectif consacré à l'analyse et l'efficacité du système serait réduite.

Si possible, si Te est le temps critique d'intervention et Tp et le temps perdu à chaque fois que nous changeons de flux vidéo, typiquement, la durée caractéristique des séquences subdivisées T _to t/N dont être encadré entre Tp*100 et Tc/10. Dimensionne et préparer les moyens techniques de sauvegarde des flux vidéo qui seront en attente de traitement. Consolide les moyens d'analyse nécessaire entre flux temps réel et flux temps différé Programme la génération des alertes