Beat-shoe-box

Realizujte hudební nástroj, který využije papírovou krabici, webovou kameru, zpracování obrazu a syntezátor zvuku: Na víku osvětlené krabice budou otvory. Kamera uvnitř krabice a software budou sledovat, které otvory jsou zakryté. To bude řídit jednoduchý sekvencer, který bude spouštět přehrávání vzorků, např. bicích.

Protože se jedná o hudební nástroj, bylo vy výhodné pokud by byl snadno přenositelný, bez komplikované konstrukce a s minimální hmotností. Proto přícházíme s návrhem na použití mobilního telefonu jak pro sledování obrazu a jeho rozpoznávání, tak i pro reprodukci zvuku.

Současné “chytré” disponují dostatečným výkonem pro složité mobilní aplikace a tak hodláme použít mobilní telefon G1 s procesorem 528 MHz a 256 MB RAM, který nám poskytne dostatečný výkon, 3.2 MPix kamera dostatečně kvalitní obraz a operační systém Android ve verzi 2.2 stabilní a kvalitní vývojovou platformu.

V první fázi vývoje vytvoříme pro testovací účely a prozkoumání zvukových možností telefonu prototyp, který zatím nebude rozpoznávat obraz, ale pro ovládání bude využívat vícedotekový displej telefonu a k ovládání základní komponenty grafického uživatelského rozhraní. Toto softwarové GUI bude v další fázi nahrazeno hardwarovým (papírová krabice a kamínky) rozhraním, při kterém využijeme kamery pro rozpoznávání obrazu.

Aplikace bude využívat přepřipravené smyčky tzv. samply, které bude možno vypínat, pouštět a různě upravovat jejich vlastnosti (hlasitost, výšky, basy, jinou variantu smyčky) podle polohy ovládacích prvků.

Na obrázku: horní řada kamenů vypíná a zapína smyčky, dolní řada kamenů (posuvníky) mění vlastnosti přehrávaných smyček. U softwarové obrazovky budou použity prvky operačního systému - tlačítko zapnutu/vypnuto a posuvníky. Pro širší použití aplikace bude možné softwarové rozraní zachovat a přepínat mezi ním a hardwarovým.

V průběhu vývoje bylo změněno softwarové i hardwarové UI, které bude podporovat dva způsoby ovládání aplikace:

1. Přehrávání 5 různých beatů v průběhu jednoho taktu po osminách
2. Přehrávání 8 různých smyček s čtyřmi různými efekty

K realizaci hudebního nástroje jsem se rozhodl nevyužít papírovou krabici, ale vyrobit box dřevěný. Důvod je ten, že ohnisková vzdálenost kamery, kterou k realizaci budu používat, vyžaduje poměrně velkou vzdálenost kamery od vrchní desky hrací skříňky (při rozměrech vrchní desky 25×25 cm je to 45cm), aby ji dokázala zabrat celou. Výsledný rozměr hrací skříňky bude tedy 25x25x50 cm. Pro tyto rozměry bude, dle mého názoru, lepší použít překližku, která zajistí vyšší odolnost hrací skříňky. Je ovšem třeba se smířit s tím, že nástroj bude mít větší hmotnost.

Hrací skříňka bude zkonstruována tak, aby bylo možné vrchní desku měnit. Změnou vrchní desky a volbou modu v softwaru, bude možné měnit režim hrací skříňky. V současné době bych rád představil dva režimy, ve kterých bude moci hrací skříň pracovat.

Tento režim bude fungovat na principu detekce vzoru. Nástroj bude obsahovat dřevěné kostičky, na jejichž spodní straně bude vytištěn vzor (grafický symbol – tag). Kamera tento obrazec detekuje, určí jeho natočení a vzdálenost od středu víka. Přítomnost tagu spustí nadefinovanou audiosekvenci (smyčku), natočení a vzdálenost tagu bude ovlivňovat její vlastnosti (hlasitost, výšky, basy, jinou variantu smyčky nebo jiné). K realizaci detekce tagů použiji knihovnu do C++ ARToolKit.

Reference: http://www.youtube.com/watch?v=vm_FzLya8y4&p=E4BF7BC2F3610564

V dřevěném víku budou vyvrtány díry, které se budou zakrývat kuličkami. Tento režim bude fungovat na principu detekce zakryté díry (světlo / tma). K detekci polohy děr využiji funkce z knihovny openCV (detekce hran, proložení bodů kružnicí). Díry budou uspořádány do kružnic, kdy každá kružnice bude představovat jednu stopu. Software bude zajišťovat běh časovače, který bude určovat, kdy jsou které díry aktivní (běh dokola). Pokud bude díra v ten moment, kdy je aktivní, zakryta, bude přehrán sample příslušné stopy.

Reference: http://www.youtube.com/watch?v=uKtisFD3PHE&list=QL&feature=BF