La production de données sportives est une fusée à plusieurs étages. Le premier est celui du Tracking (Poursuite) qui va établir qui ou quoi est à quel endroit à quel moment du jeu. Ces données sont ensuite interprétées par des systèmes en aval pour produire des informations sémantiques décrivant les actions (Eventing) ou des agrégations par acteur (à des fins de statistiques ou d’étude de la performance). Ces produits mis en forme sont distribués aux divers utilisateurs (entraîneurs, analystes, télévisions…) et stockés pour une utilisation ultérieure façon Big Data.

Tracking par instrumentation ou par triangulation ?

Il existe deux grandes approches pour calculer le Tracking durant un match :

soit instrumenter les joueurs et/ou le ballon, par exemple en portant un boîtier GPS. C’est l’approche choisie par la NFL (ligue professionnelle de football américain) ;

soit des caméras sont installées sur le site et des algorithmes de Vision par Ordinateur analysent les images. C’est le cas du système Dragon installé en English Premier League (EPL, ligue 1 anglaise de football).

Si les capteurs externes peuvent être plus faciles à utiliser de prime abord, ils sont limités en termes d’usage : augmenter le nombre de propriétés mesurées demande d’ajouter des capteurs sur un joueur (dans ses chaussures, son casque…). De son côté, un système optique produit des résultats détaillés (position de tous les membres) mais demande l’installation de suffisamment de caméras pour pouvoir trianguler les observations partout sur le terrain. Le système optique Dragon de Genius Sports installé en EPL produit par exemple une représentation 3D complète (sous la forme de maillages) des joueurs, arbitres et du ballon en temps réel pendant un match.

Un arbitre dopé à l’Intelligence Artificielle

L’IA intervient désormais à chaque étape, à la fois dans la production mais de plus en plus dans la dissémination et la valorisation des données. Prenons quelques exemples.

Côté Tracking, les modèles issus de l’apprentissage profond (Deep Learning) permettent de localiser dans les flux vidéos non seulement chaque joueur mais aussi leurs membres. En associant plusieurs caméras on reconstruit un modèle 3D épousant exactement la silhouette de chaque joueur : en une dizaine d’années nous sommes passés de positionner un joueur en 2D sur le terrain à produire un jumeau numérique 3D !

Les modèles d’Eventing vont ensuite analyser le déroulement du jeu pour en produire une description action-par-action (Play-by-Play). En associant un Tracking temps réel et un Eventing entraîné sur des matches de football et détectant les passes et le rôle de chaque joueur dans une action, on obtient un système à faible latence capable de détecter les hors-jeu. Semi-automatique, ce système (dit SAOT) va alors soumettre à l’arbitre vidéo une alerte de hors-jeu potentiel ainsi que la représentation 3D et les meilleurs points de vue dans des caméras à haute vitesse pour confirmer la proposition et pouvoir intervenir sur le cours du jeu de façon quasi-immédiate. Par rapport à l’arbitrage vidéo classique :

le jumeau numérique 3D permet de voir exactement quelle partie du corps d’un joueur est hors-jeu, et le point de vue libre permet de ne pas être limité aux caméras installées dans le stade ;

la présélection automatique des actions pertinentes et des joueurs impliqués amène un gain de temps et de sérénité pour l’arbitre vidéo car elle lui permet de devancer l’appel de l’arbitre de terrain ou les ralentis de la télévision et donc de « ne plus subir. »

L’apport de l’IA ne se limite pas à l’arbitrage

En associant un Tracking et un système de Play-by-Play temps réel comme ceux de Dragon de Genius Sports on peut :

• évaluer la difficulté de chaque tir avec une métrique quantifiant la difficulté d’un geste comme les (xG) et générer automatiquement un clip des buts (ou des ratés !) les plus improbables pour un weekend de match. Très utile pour alimenter médias, réseaux sociaux…
• mettre en évidence (comme dans un jeu vidéo) le joueur en possession du ballon mais aussi son action la plus probable et les joueurs impliqués dans l’action. Ceci permet d’améliorer la compréhension du jeu en se focalisant sur les éléments importants ;
• proposer des interactions sur l’écran du spectateur sur smartphone afin d’augmenter son engagement ;
• ajouter des animations graphiques sur des éléments importants. Par exemple au basketball afficher le dernier point de contact avec le sol (et sa distance au panier) lors d’un tir à 3 points, ajouter une trainée de feu derrière la balle lors de ces shoots lointains (pour attirer l’attention d’un public plus jeune). La qualité des ajouts graphiques du flux vidéo augmenté est elle-même permise par l’utilisation de modèles issus de l’apprentissage profond.

En rendant possible la compréhension du jeu en temps réel, la révolution de l’IA est en train de changer profondément non seulement la pratique du sport professionnel mais aussi les façons de le diffuser. Alors que les droits de diffusion sur la télévision linéaire stagnent, Pouvoir adapter facilement des contenus aux nouveaux modes de consommation, améliorer l’interactivité avec le spectateur est une voie prometteuse à un moment où.

Emmanuel d’Angelo, Senior Computer Vision Engineer chez Genius Sports.

Après un début de carrière comme expert analyse d’images et chef de groupe au CEP à Arcueil, il quitte la France pour la Suisse. S’ensuivent un doctorat à l’EPFL, plusieurs postes en startups dans le domaine de la photogrammétrie et de la réalité virtuelle avant de rejoindre Second Spectrum, rachetée par Genius Sports en 2021.