Gadgetshowto
Lidé tradičně ke sledování videí používali televizory s poměrem stran 16: 9 nebo 4: 3. S nejnovějšími zařízeními však lidé zobrazují a vytvářejí videa v řadě poměrů stran. Oříznutí videí, aby se vešly na obrazovky těchto zařízení, je pro kurátory videa zdlouhavý úkol. Naštěstí je Google na případu, aby videa ořezával hladce.
Nedávno v příspěvku na blogu společnost Google oznámila nástroj s otevřeným zdrojovým kódem pro změnu rámce a oříznutí videí, aby se vešly na jakoukoli obrazovku. AutoFlip je nástroj, který využívá technologii detekce a sledování objektů založenou na strojovém učení (ML) k automatickému přeformátování videí.
AutoFlip - pro inteligentní ořezávání videa
Google vytvořil tento nástroj zbavit se konvenční metody statického oříznutí pro oříznutí videí. Metoda statického oříznutí zahrnuje nespolehlivé techniky videorámování, tj. Určení výřezu kamery pro video a následné oříznutí všeho mimo tuto oblast. Tato metoda vytváří nežádoucí výstup videí.
Google Autoflip je schopen mnoha pokročilých funkcí, mezi které patří detekce výstřelů, analýza obsahu videa a nakonec rámování. Dovolte mi krátce prolomit každou z těchto strategií rámování.
Detekce záběrů (scén)
Scéna nebo snímek ve videu je souvislá sekvence snímků bez jakýchkoli střihů. Pokud dojde ke změně ve snímku nebo scéně videa, Automatické otáčení Google dokáže tuto změnu detekovat porovnáním barevného histogramu předchozích snímků s novými. Změna výstřelu je detekována, když se distribuce barvy rámečku změní jinou rychlostí než posuvné historické okno. Nástroj pro optimalizaci procesu změny rámce ukládá do paměti celé video před provedením jakýchkoli rozhodnutí o změně rámce.
Analýza obsahu videa
Použitím této strategie, nástroj detekuje důležité objekty a lidi ve videu. K identifikaci objektů využívá modely detekce objektů založené na hlubokém učení. U tohoto modelu může nástroj dokonce detekovat jakékoli textové překryvy nebo loga značek a další prvky, jako je pohyb nebo míč pro sportovní videa. Modely detekce obličeje a objektů jsou integrovány do nástroje prostřednictvím MediaPipe. Je to v zásadě rámec pro zpracování multimodálních dat vývojem potrubí. Tento rámec využívá rámec TensorFlow Lite ML společnosti Google na procesorech.
Přerámování
Po identifikaci osob a objektů ve videích nástroj dělá logická rozhodnutí o tom, jak video přetvořit. Funkce AutoFlip vybere pro oříznutí obsahu jednu ze tří strategií přejmenování - stacionární, posouvání nebo sledování. Nástroj vybere optimální strategii na základě obsahu videa. Například ve stacionárním režimu zůstává výřez přepracované kamery fixní ve stacionární poloze, kde je přítomna většina důležitých scén videa. U videí, která obsahují pohyb, používá posouvání pohybem výřezu přepracované kamery konstantní rychlostí. Pokud jsou v rámečku zajímavé objekty, vstoupí v platnost režim sledování.
Na základě strategie reframování zvolené algoritmem je funkcí AutoFlip nastaveno optimalizované ořezové okno pro každý snímek. Tím se nejlepším možným způsobem zachová důležitý obsah videa.
Google vydal tento nástroj přímo vývojářům a filmařům s cílem „snížit překážky jejich kreativity designu a dosáhnout automatizací úpravy videa“. AutoFlipis je navržen tak, aby poskytoval nejlepší možný výsledek, ať už jde o krajinu na výšku nebo na výšku na šířku.
