Audio explorer

• Ivana Váňová
• Kristýna Dudová

• Navrhněte aplikaci pro vizualizaci zvuků tak, aby grafický výstup bylo možné použít k identifikaci a třídění zvuků v audiotéce.
• Zaměřte se na vybraný druh zvukového záznamu (hudba, řečové nahrávky, jednotlivé vzorky).
• Otestujte na databázi dostatečného množství zvuků.

Cílem práce je vytvořit program, který automaticky vytvoří z hudební skladby její grafickou reprezentaci, která poskytne uživateli intuitivně představu o skladbě jako takové. Uživatel by měl být schopen po krátkém seznámení s prostředím si vybrat „naslepo“ (tedy spíše „nahlucho“) píseň podle své nálady. Obrázky podobné hudby si budou podobné, potřebujeme tedy zjistit takové parametry hudby, které jsou důležité pro její vnímání člověkem a zanedbat ty, které dojem z hudby příliš neovlivní. Dále potřebujeme tyto parametry vhodně namapovat na parametry obrázku. V závěru projektu bude provedeno jednoduché uživatelské testování.

Jako prvotní podobu grafického výstupu předpokládáme obrázek, který bude obsahovat barevné obrazce (kruhy, čtverce, kaňky, …). Barva a velikost obrazců bude vypovídat o parametrech skladby. V případě, že se podaří dopracovat (a hlavně následně interpretovat) i dynamický grafický výstup, lze uvažovat i o pulzování obrazců, čímž by se výrazně zvýšila výpovědní hodnota obrázku.

Zde můžeme získat první informace k rozlišení agresivní a klidné hudby. Na obrázku vidíme srovnání 44kHz PCM agresivní hlasité skladby Freak on a Leash a klidné Beethovenovy Pro Elišku. Zatímco amplitudy agresivní skladby se drží u maxima, Pro Elišku dosahuje maxima málokdy a linie amplitud je „kostrbatější“ a signál méně často přechází přes nulu. zdroj

U některých hudebních žánrů je rozložení frekvencí stejnoměrné, u jiných některé frekvence převažují. zdroj

Rozpoznání tempa (rychlosti) skladby provedeme tak, že budeme detekovat beaty pomocí skriptů ze zdroje. Tempo skladby je jeden z parametrů hudby s výpovědní hodnotou pro lidské ucho.

Budeme chtít zpracovávat i větší množství skladeb, proto není možné analyzovat všechny dostupné informace po celé délce skladby. Stačí vybrat několik úseků (každých třetích šest sekund), není třeba pracovat se stereo zvukem a ani s prvními a posledními přibližně deseti sekundami skladby (fade-in a fade-out), tyto o ní nemusejí nic vypovídat, ani celkový dojem příliš neovlivní. Další možností je snížení vzorkovací frekvence.

Kromě přiřazení barvy hudebním žánrům jsme k tomuto tématu nenalezly žádné informace.

Pro vývoj generátoru grafického popisu jednotlivých skladeb bylo zvoleno programové prostředí Matlab, které již v základní instalaci dobře podporuje zpracovávání signálu.

Pro závěrečné propojení grafického výstupu naší práce s Windows Explorerem bude použit program v C++ (viz. zdroje). Interpretace obrázků v ikonách obecných souborů je podporována jen OS Windows Vista či Windows 7. Náš projekt bude přednostně vyvíjen pro OS Windows 7.

• podvzorkování
• stereo → mono
• výběr úseků

Zde je nutné zjistit, jaká přesně data jsou pro naše účely směrodatná. Vycházet budeme z informací nastíněných v rešerši.

Je třeba zjistit, kterým parametrům zvuku přiřadíme které parametry obrázku (odstín, světlost, sytost, vzorek, animace). Naše první představa je, že skladby hlubší by měly mít náhledy temnějších barev, rychlost skladby by mohla být vyjádřena opakováním vzorku (rychlá skladba - malý vzorek, mnoho opakování, pomalá skladba, velký vzorek rozostřený) nebo (v případě použití pohyblivých náhledů) rychlostí pulzace obrázku. Určitý dojem ze skladby (agresivní, melancholická) tvarem vzorku (hranatý, špičatý, kulatý) apod. Je třeba vyzkoušet, co lze udělat a co bude nejlépe vyhovovat.

Výsledný náhled skladby by měl být přiřazen jako náhled zvukového souboru uchovávající skladbu. Tím docílíme použitelnosti bez nutnosti uživatele mít nějakého dalšího Průzkumníka, než Průzkumníka Windows. Nevýhodou je, že možnost přiřazení obrázku (náhledu) k obecnému souboru je podporována od Windows Vista a výše, viz. zdroj

• Islands of Music
• Spektrální analýza hudební skladby
• Klasifikace hudebních stylů
• Music Content Analysis by Machine Learning

• Matlab Doc
• Music Analysis Toolbox
• mp3write and mp3read
• Beat Tracking and Music Matching

• Creating a thumbnail handler by file type and extending Windows Explorer