Rechercher des vidéos par objets : ce qui marche vraiment et ce qui ne marche pas
Quelle performance a réellement la reconnaissance d'objets sur des rushes, la différence entre tags et descriptions, et pourquoi la recherche au timecode est un autre problème.
« Je sais que j’ai un plan d’une voiture rouge qui passe. » Cette phrase, c’est tout le problème de la recherche vidéo, et jusqu’à récemment la seule réponse était d’ouvrir des plans jusqu’à tomber dessus.
La recherche par objets change cela, mais pas comme le suggèrent les démonstrations. Voici ce qu’elle fait vraiment, quelle précision elle a réellement, et comment la mettre en place sur vos propres disques.
Pourquoi votre Mac ne sait pas déjà faire ça
Spotlight est un bon index. Il connaît tous les noms de fichiers, tous les dossiers, le texte intégral de vos documents, l’EXIF de vos photos, la durée et les dimensions de vos vidéos.
Il ne sait pas à quoi ressemble une vidéo. Aucun système d’exploitation n’indexe le contenu image, parce que jusqu’à récemment cela voulait dire décoder chaque image de chaque fichier et la passer dans un modèle, ce qui n’était pas envisageable.
La formulation honnête de « rechercher des vidéos par objets » est donc un travail en deux temps :
- Générer du texte décrivant ce que contient chaque plan
- Chercher dans ce texte avec les outils que vous avez déjà
L’étape deux est résolue depuis 2005. L’étape un est la nouveauté, et c’est là qu’est tout l’intéressant.
Comment fonctionne l’étape de description
Un modèle de vision ne regarde pas votre plan. Il échantillonne des images, en général entre huit et trente selon la durée, et regarde celles-là.
Cet échantillonnage a des conséquences qu’il vaut la peine de comprendre :
- Ce qui persiste est trouvé. Une voiture garée dix secondes dans le cadre apparaîtra dans une image échantillonnée.
- Ce qui passe vite est manqué. Un oiseau qui traverse le cadre en une demi-seconde tombe probablement entre deux échantillons.
- La description porte sur le plan entier, pas sur un instant. Vous obtenez « une route côtière avec de la circulation », pas un relevé à la seconde.
Pour la plupart des rushes c’est exactement ce qu’il faut, parce que vous cherchez le plan, pas l’image. Vous voulez passer de 400 fichiers à trois, puis utiliser vos yeux.
Ce qu’elle réussit
Après quelques milliers de plans, les catégories fiables sont constantes :
Les personnes et leur disposition. Une personne, un groupe, une foule. Assis, debout, marchant, parlant à la caméra. Gros plan, plan large.
Les véhicules et transports. Voiture, camion, vélo, bateau, avion, train. La couleur presque toujours, le modèle rarement.
Les lieux, par type. Cuisine, bureau, rue, forêt, plage, montagne, stade, entrepôt. C’est l’une des catégories les plus solides et la plus utile en pratique.
Les objets courants. Nourriture, ordinateurs portables, outils, instruments, mobilier, signalétique, animaux au niveau de « chien » et « oiseau ».
Les conditions. Jour ou nuit, intérieur ou extérieur, soleil ou couvert, heure dorée. Pour raccorder des plans au montage, cela vaut autant que les sujets.
Caméra et cadrage. Fixe ou épaule, drone ou sol, gros plan ou large, mouvements évidents.
Combinez deux ou trois de ces axes et vous avez une vraie recherche : « cuisine, deux personnes, lumière du jour » réduit 400 plans à quatre.
Ce qu’elle rate
Tout aussi constant, et bon à savoir avant de s’y fier :
L’identification fine. « Poisson » est fiable. « Poisson-globe » dépend beaucoup du modèle. Un modèle cloud identifie souvent les espèces, les races et les plantes. Un petit modèle local vous donne la catégorie.
Les lieux et personnes nommés. Un modèle peut reconnaître une silhouette urbaine célèbre. Il ne connaît pas le bâtiment de votre client, et il ne sait pas que la personne à l’image est Marcus sauf si vous l’avez dit au système. Pire : il peut nommer avec assurance la mauvaise ville, ce qui coûte plus cher que se taire.
Le texte à l’image. Les modèles cloud lisent les panneaux et les tableaux étonnamment bien. Les petits modèles locaux souvent non.
Tout ce qui est petit, rapide ou à demi caché. L’accessoire dans le coin, le logo sur la tasse, la chose qui n’apparaît qu’à 0:42.
Compter. « Trois personnes » devient souvent « plusieurs personnes ». Ne construisez pas une recherche qui dépende de nombres exacts.
La posture pratique : servez-vous des descriptions générées comme du filtre qui vous fait passer de centaines de plans à une poignée, et utilisez vos yeux pour la dernière étape. C’est 95 pour cent de défilement en moins, et c’est tout l’objet.
Tags ou descriptions ? Les deux, pour des recherches différentes
Deux formes de texte généré, qui servent des requêtes différentes.
Les tags sont une liste courte et contrôlée : cuisine, interview, jour, epaule. Bons pour filtrer et regrouper, parce que le même mot désigne toujours la même chose. C’est ce qui fait fonctionner un système de tags pour le B-roll.
Les descriptions sont une phrase : « deux personnes à un plan de travail de cuisine, l’une parle à la caméra, lumière du matin par la fenêtre ». Bonnes pour la recherche plein texte, parce que vous les retrouvez avec n’importe lequel de leurs mots, y compris ceux que vous n’auriez pas pensé à définir comme tag.
Utilisez les deux. Les tags dans les tags Finder du fichier, la description dans le nom et dans un fichier texte annexe. Ainsi une recherche large touche la description et un filtre précis touche les tags.
Où le stocker pour que la recherche fonctionne
Générer le texte ne sert que s’il atterrit là où regardent vos outils de recherche. Sur un Mac :
- Nom de fichier :
Cuisine-Interview-Deux-Personnes-Matin_16x9_4K_25FPS.mp4. Visible partout, cherchable partout. - Tags du Finder : le vocabulaire contrôlé. Indexés par Spotlight, filtrables depuis n’importe quelle fenêtre d’ouverture.
- Fichier texte annexe : la description longue et la transcription. Spotlight en indexe le contenu.
Remarquez ce qui n’est pas sur la liste : un catalogue propriétaire. Si la description n’existe qu’à l’intérieur d’une application, alors « chercher dans mes rushes » veut dire en réalité « ouvre d’abord cette application », et sur un disque d’archive d’il y a deux ans cette application n’est peut-être même plus installée. L’argument long est dans où les métadonnées doivent vivre.
La question du timecode
La demande évidente qui suit : non pas « quel plan contient la voiture rouge » mais « à quelle seconde apparaît la voiture rouge ».
C’est un problème nettement plus dur. Il suppose d’indexer à l’image ou à la seconde, ce qui multiplie le coût de l’analyse par un ou deux ordres de grandeur et produit un index qu’aucun système de fichiers ne peut loger dans un nom.
Où en est-on aujourd’hui :
- Contenu parlé : résolu. Les transcriptions portent des timecodes au mot par défaut, donc chercher une phrase vous donne le moment exact. Si vos rushes sont des interviews, vous avez déjà la recherche au moment. Voir transcrire une vidéo sur Mac.
- Contenu visuel : partiellement, et à un prix. De tels systèmes existent, surtout côté serveur et facturés à l’heure de rushes.
Pour l’essentiel du travail indépendant, la recherche visuelle au plan plus la recherche au moment sur le parlé couvrent les vraies questions. Vous trouvez le plan en quelques secondes puis parcourez trente secondes, au lieu de quatre heures.
Cloud ou local
Les deux fonctionnent. Ils échouent différemment.
Le cloud donne les réponses fines : espèces, monuments, texte lisible, objets précis. Les images quittent votre machine et vous payez au plan.
Le local, sur Apple Silicon, donne les catégories : poisson, côte, cuisine, foule. Rien ne quitte la machine, pas de coût par plan, fonctionne sans connexion. Pour des rushes sous confidentialité ce n’est pas une préférence : c’est la seule version qui passe une revue contractuelle. La recherche vidéo par IA locale détaille ce qu’il faut en attendre.
Le réglage par défaut utile : en local pour le gros, dans le cloud pour les rushes où une description vague ou fausse vous coûterait du temps plus tard.
Cliptag fait l’étape de description sur macOS. Il analyse vidéos, photos et audio, écrit un nom descriptif, applique les mots-clés de sujet en tags Finder et enregistre les transcriptions en texte à côté du plan, de sorte que votre recherche se fait dans Spotlight et non dans une autre application. Offre gratuite avec 25 analyses cloud par mois, et mode local gratuit et illimité.
