Cercare video per oggetti: cosa funziona davvero e cosa no
Quanto rende davvero il riconoscimento di oggetti sul girato, la differenza tra tag e descrizioni, e perché cercare per timecode è un altro problema.
« So di avere un’inquadratura di un’auto rossa che passa. » Quella frase è tutto il problema della ricerca video, e fino a poco fa l’unica risposta era aprire clip finché non la trovavi.
La ricerca per oggetti cambia le cose, ma non come suggeriscono le dimostrazioni. Ecco cosa fa davvero, quanta precisione ha realmente, e come metterla al lavoro sui tuoi dischi.
Perché il tuo Mac non sa già farlo
Spotlight è un buon indice. Conosce tutti i nomi dei file, tutte le cartelle, il testo completo dei tuoi documenti, gli EXIF delle tue foto, la durata e le dimensioni dei tuoi video.
Non sa che aspetto ha un video. Nessun sistema operativo indicizza il contenuto immagine, perché fino a poco fa significava decodificare ogni fotogramma di ogni file e passarlo per un modello, cosa nemmeno lontanamente sostenibile.
Quindi la formulazione onesta di « cercare video per oggetti » è un lavoro in due passi:
- Generare testo che descriva cosa c’è in ogni clip
- Cercare in quel testo con gli strumenti che hai già
Il passo due è risolto dal 2005. Il passo uno è la novità, ed è lì che sta tutto l’interessante.
Come funziona il passo della descrizione
Un modello di visione non guarda la tua clip. Campiona fotogrammi, di solito tra otto e trenta a seconda della durata, e guarda quelli.
Quel campionamento ha conseguenze che vale la pena capire:
- Ciò che persiste viene trovato. Un’auto ferma dieci secondi in campo comparirà in un fotogramma campionato.
- Ciò che passa in fretta si perde. Un uccello che attraversa il campo in mezzo secondo probabilmente cade tra due campioni.
- La descrizione riguarda l’intera clip, non un istante. Ottieni « una strada costiera con traffico », non un registro al secondo.
Per quasi tutto il materiale è esattamente giusto, perché cerchi la clip, non il fotogramma. Vuoi passare da 400 file a tre e poi usare gli occhi.
Cosa azzecca
Dopo qualche migliaio di clip, le categorie affidabili sono costanti:
Persone e loro disposizione. Una persona, un gruppo, una folla. Sedute, in piedi, che camminano, che parlano in camera. Primo piano, campo lungo.
Veicoli e trasporti. Auto, camion, bicicletta, barca, aereo, treno. Il colore quasi sempre, il modello raramente.
Luoghi, per tipo. Cucina, ufficio, strada, bosco, spiaggia, montagna, stadio, capannone. È una delle categorie più solide e la più utile in pratica.
Oggetti comuni. Cibo, portatili, attrezzi, strumenti, mobili, cartellonistica, animali al livello di « cane » e « uccello ».
Condizioni. Giorno o notte, interno o esterno, sole o nuvoloso, ora d’oro. Per far combaciare le inquadrature nel montaggio valgono quanto i soggetti.
Camera e inquadratura. Fisso o a mano, drone o terra, primo piano o campo lungo, movimenti evidenti.
Combina due o tre di questi e hai una ricerca vera: « cucina, due persone, luce di giorno » riduce 400 clip a quattro.
Cosa sbaglia
Altrettanto costante, e da sapere prima di fidarsi:
Identificazione fine. « Pesce » è affidabile. « Pesce palla » dipende molto dal modello. Un modello cloud spesso azzecca specie, razze e piante. Un modello locale piccolo ti dà la categoria.
Luoghi e persone con un nome. Un modello può riconoscere uno skyline famoso. Non conosce l’edificio del tuo cliente, e non sa che la persona in campo è Marcus se non l’hai detto al sistema. Peggio: può nominare con sicurezza la città sbagliata, il che costa più che tacere.
Testo nell’immagine. I modelli cloud leggono cartelli e lavagne sorprendentemente bene. I modelli locali piccoli spesso no.
Tutto ciò che è piccolo, veloce o mezzo coperto. L’oggetto di scena nell’angolo, il logo sulla tazza, la cosa che compare solo a 0:42.
Contare. « Tre persone » diventa spesso « diverse persone ». Non costruire una ricerca che dipenda da numeri esatti.
La postura pratica: usa le descrizioni generate come il filtro che ti porta da centinaia di clip a una manciata, e usa gli occhi per l’ultimo passo. È un 95 per cento di scorrimento in meno, ed è tutto qui il punto.
Tag o descrizioni? Entrambi, per ricerche diverse
Due forme di testo generato, che servono domande diverse.
I tag sono una lista corta e controllata: cucina, intervista, giorno, mano. Buoni per filtrare e raggruppare, perché la stessa parola significa sempre la stessa cosa. È ciò che fa funzionare un sistema di tag per il B-roll.
Le descrizioni sono una frase: « due persone a un piano di cucina, una parla in camera, luce del mattino dalla finestra ». Buone per la ricerca a testo pieno, perché le trovi con una qualsiasi delle loro parole, comprese quelle che non avresti pensato di definire come tag.
Usa entrambi. I tag nei tag del Finder del file, la descrizione nel nome e in un file di testo affiancato. Così una ricerca ampia tocca la descrizione e un filtro preciso tocca i tag.
Dove salvarlo perché la ricerca funzioni
Generare il testo serve solo se atterra dove guardano i tuoi strumenti di ricerca. Su un Mac:
- Nome del file:
Cucina-Intervista-Due-Persone-Mattino_16x9_4K_25FPS.mp4. Visibile ovunque, cercabile ovunque. - Tag del Finder: il vocabolario controllato. Indicizzati da Spotlight, filtrabili da qualsiasi finestra di apertura.
- File di testo affiancato: la descrizione lunga e la trascrizione. Spotlight ne indicizza il contenuto.
Nota cosa non c’è nella lista: un catalogo proprietario. Se la descrizione esiste solo dentro un’applicazione, allora « cercare nel mio materiale » significa in realtà « apri prima quell’applicazione », e su un disco d’archivio di due anni fa quell’applicazione potrebbe non essere nemmeno installata. L’argomento lungo è in dove devono stare i metadati.
La questione del timecode
La richiesta ovvia che segue: non « quale clip ha l’auto rossa » ma « a che secondo compare l’auto rossa ».
È un problema decisamente più difficile. Implica indicizzare a livello di fotogramma o di secondo, il che moltiplica il costo dell’analisi di uno o due ordini di grandezza e produce un indice che nessun file system può contenere in un nome.
A che punto siamo oggi:
- Contenuto parlato: risolto. Le trascrizioni portano timecode a livello di parola di serie, quindi cercare una frase ti dà il momento esatto. Se il tuo materiale sono interviste, hai già la ricerca al momento. Vedi trascrivere video su Mac.
- Contenuto visivo: in parte, e a pagamento. Sistemi del genere esistono, soprattutto lato server e fatturati a ore di materiale.
Per quasi tutto il lavoro indipendente, la ricerca visiva per clip più la ricerca al momento sul parlato coprono le domande vere. Trovi la clip in pochi secondi e poi scorri trenta secondi, invece di quattro ore.
Cloud o locale
Entrambi funzionano. Falliscono in modo diverso.
Il cloud dà le risposte fini: specie, monumenti, testo leggibile, oggetti precisi. I fotogrammi lasciano la tua macchina e paghi a clip.
Il locale, su Apple Silicon, dà le categorie: pesce, costa, cucina, folla. Nulla lascia la macchina, nessun costo per clip, funziona senza connessione. Per materiale sotto riservatezza non è una preferenza: è l’unica versione che supera una verifica contrattuale. La ricerca video con IA locale dettaglia cosa aspettarsi.
L’impostazione predefinita utile: in locale per il grosso, nel cloud per il materiale dove una descrizione vaga o sbagliata ti costerebbe tempo più avanti.
Cliptag fa il passo della descrizione su macOS. Analizza video, foto e audio, scrive un nome descrittivo, applica i tag di soggetto come tag del Finder e salva le trascrizioni come testo accanto alla clip, così la tua ricerca avviene in Spotlight e non in un’altra applicazione. Piano gratuito con 25 analisi cloud al mese, e modalità locale gratuita e illimitata.
