Technologie

„Automatické otáčení“ Google je navrženo k inteligentnímu ořezávání videí

„Automatické otáčení“ Google je navrženo k inteligentnímu ořezávání videí

Lidé tradičně ke sledování videí používali televizory s poměrem stran 16: 9 nebo 4: 3. S nejnovějšími zařízeními však lidé zobrazují a vytvářejí videa v řadě poměrů stran. Oříznutí videí, aby se vešly na obrazovky těchto zařízení, je pro kurátory videa zdlouhavý úkol. Naštěstí je Google na případu, aby videa ořezával hladce.

Nedávno v příspěvku na blogu společnost Google oznámila nástroj s otevřeným zdrojovým kódem pro změnu rámce a oříznutí videí, aby se vešly na jakoukoli obrazovku. AutoFlip je nástroj, který využívá technologii detekce a sledování objektů založenou na strojovém učení (ML) k automatickému přeformátování videí.

AutoFlip - pro inteligentní ořezávání videa

Google vytvořil tento nástroj zbavit se konvenční metody statického oříznutí pro oříznutí videí. Metoda statického oříznutí zahrnuje nespolehlivé techniky videorámování, tj. Určení výřezu kamery pro video a následné oříznutí všeho mimo tuto oblast. Tato metoda vytváří nežádoucí výstup videí.

Google Autoflip je schopen mnoha pokročilých funkcí, mezi které patří detekce výstřelů, analýza obsahu videa a nakonec rámování. Dovolte mi krátce prolomit každou z těchto strategií rámování.

Detekce záběrů (scén)

Scéna nebo snímek ve videu je souvislá sekvence snímků bez jakýchkoli střihů. Pokud dojde ke změně ve snímku nebo scéně videa, Automatické otáčení Google dokáže tuto změnu detekovat porovnáním barevného histogramu předchozích snímků s novými. Změna výstřelu je detekována, když se distribuce barvy rámečku změní jinou rychlostí než posuvné historické okno. Nástroj pro optimalizaci procesu změny rámce ukládá do paměti celé video před provedením jakýchkoli rozhodnutí o změně rámce.

Analýza obsahu videa

Použitím této strategie, nástroj detekuje důležité objekty a lidi ve videu. K identifikaci objektů využívá modely detekce objektů založené na hlubokém učení. U tohoto modelu může nástroj dokonce detekovat jakékoli textové překryvy nebo loga značek a další prvky, jako je pohyb nebo míč pro sportovní videa. Modely detekce obličeje a objektů jsou integrovány do nástroje prostřednictvím MediaPipe. Je to v zásadě rámec pro zpracování multimodálních dat vývojem potrubí. Tento rámec využívá rámec TensorFlow Lite ML společnosti Google na procesorech.

Přerámování

Po identifikaci osob a objektů ve videích nástroj dělá logická rozhodnutí o tom, jak video přetvořit. Funkce AutoFlip vybere pro oříznutí obsahu jednu ze tří strategií přejmenování - stacionární, posouvání nebo sledování. Nástroj vybere optimální strategii na základě obsahu videa. Například ve stacionárním režimu zůstává výřez přepracované kamery fixní ve stacionární poloze, kde je přítomna většina důležitých scén videa. U videí, která obsahují pohyb, používá posouvání pohybem výřezu přepracované kamery konstantní rychlostí. Pokud jsou v rámečku zajímavé objekty, vstoupí v platnost režim sledování.

Na základě strategie reframování zvolené algoritmem je funkcí AutoFlip nastaveno optimalizované ořezové okno pro každý snímek. Tím se nejlepším možným způsobem zachová důležitý obsah videa.

Google vydal tento nástroj přímo vývojářům a filmařům s cílem „snížit překážky jejich kreativity designu a dosáhnout automatizací úpravy videa“. AutoFlipis je navržen tak, aby poskytoval nejlepší možný výsledek, ať už jde o krajinu na výšku nebo na výšku na šířku.

Co se stane, když budou hacknuty účty celebrit na Twitteru [Infographic]
Pro Twitter jako platformu sociálních sítí je obzvláště velmi škodlivé, protože o čem je celá myšlenka, sdílet věci, ať už jde o prostý text nebo odka...
Kupujete si novou herní konzoli? Na co si dát pozor
Při nákupu nové herní konzole je třeba vzít v úvahu spoustu věcí. Od ceny po kompatibilitu bude mít každá konzola své vlastní výhody a nevýhody. Je p...
Jak Seznam fóra Ultimate High PR Do-Follow z roku 2013
Seznam fóra Ultimate High PR Do-Follow z roku 2013
SEO nebo optimalizace pro vyhledávače je páteří každého internetového podnikání. Dobrá SEO strategie je to, co zajišťuje, že firma nebo blog přežije ...