Beat-shoe-box

• Na projektu pracují: Petra Kalinová kalinpe1@fel.cvut.cz, Ota Hauptmann hauptota@fel.cvut.cz
• Externí spolupráce se studenty konzervatoře Jaroslava Ježka: Petr Svoboda

24. 11. Schůzka s Petrem Svobodou, doupřesnění funkcí software, ladění hardware.

14. 10. Schůzka se studentem konzervatoře Jaroslava Ježka, Petrem Svobodou. Update rešerše a návrhu řešení.

13. 10. Update rešerše a návrhu řešení

12. 10. Po dohodě se cvičícím (Adam Sporka) jsme změnili naše zadání (původní zadání: animace pro CAVE - dynamická simulace částic).

Realizujte hudební nástroj, který využije papírovou krabici, webovou kameru, zpracování obrazu a syntezátor zvuku: Na víku osvětlené krabice budou otvory. Kamera uvnitř krabice a software budou sledovat, které otvory jsou zakryté. To bude řídit jednoduchý sekvencer, který bude spouštět přehrávání vzorků, např. bicích.

Existující řešení netradičních způsobů interakce s hudbou na plochých zařízeních jsou přehledně představena na webu tangible music.

Našemu zadání nejvíce odpovídají „nástroje“ z kategorie Token Based Sequencers.

Projekt Petera Bennetta na Queens University Belfast. web projektu Research paper

Zde každý řádek otvorů představuje odlišný sample, který je přehráván (pokud je příslušný otvor zakryt kuličkou) v nekonečné smyčce v nastaveném tempu. Konkrátní sample v jednom řádku se ve sloupcích může a nemusí lišit ve výšce.

YouTube video

Nástroj inspirovaný BeatBearing, ale s rozložením do kruhu. web projektu

YouTube video

U tohoto projektu byl zachován koncept děr, ale využívá se zde rozpoznávání obrazu, proto Java aplikace navíc rozpoznává barvu vstupu, podle které přiřazuje nastavený sample. web projektu

YouTube video

Místo desky s otvory lze použít i koncept vícedotykové desky, kde předměty dotýkající se desky vytváří stín.

Kromě drahých multidotykových zařízení jakým je např. Microsoft Surface, je možné toto zařízení vytvořit za levno a v přenosnějších rozměrech, např. podle návodu u projektu MTmini. web projektu

YouTube video

Projekt, provedením nejvíce se blížící představám o našem projektu, se samostatnou .NET aplikací. web projektu

YouTube video

Podle požadavků zadavatele se bude zařízení skládat z konstrukce podpírající desku z plexiskla, která bude pokryta pauzovacím papírem, na kterém bude nakreslena mřížka definující hrací plochu. Stíny na ploše se vytvoří hracími kameny či dvoukorunami. Zespoda bude hrací plochu snímat web kamera. Vstup z web kamery vyhodnotí náš program a vytvoří výstup ve formě MIDI Message.

Zařízení včetně web kamery bude dodáno zadavatelem. Předkládáme návrh podoby od Petra Svobody:

• Programovací jazyk: C++

Aplikaci se pokusíme napsat jako VST plugin, který poté půjde použít např. v software Ableton Live. K vývoji pluginů slouží oficiální SDK.

Pro tvorbu pluginu použijeme framework Juce, který nám umožní práci s MIDI, vstup z web kamery a tvorbu GUI.

Rozpoznávací část vytvoříme sami vyhodnocením vstupních bitmap z web kamery.

Aplikace bude zobrazovat vstup z webkamery, náhled nástroje a jeho aktuální rozložení (do kruhu či podélně). Před samotným použitím nástroje předpokládáme jeho kalibraci. Kalibrace bude spočívat v nastavení parametru pro rozpoznávání podle aktuálního osvětlení. Uživatel myší zadá okraje hrací desky, nastaví rozložení hracího pole atd.

• plexisklo 1×1 m, navrch pauzák s linkami
• obdelníková pro 2 čtyřčtvrťové takty, zbylé místo nahoře a dole slouží pro odkládání kamenů (dvoukoruny)
• rozlišení: 2*16 šestnáctinových not x 12 půltónů = 384 políček velikosti cca 3×3 cm

• přepínání mezi takty (freeze): jen pravý/jen levý/oba/žádný
• změna oktávy nahoru/dolů

• typ: Logitech C270 HD
• rozlišení: 752 x 416
• fps: 15

• vstup: bitmapa
• výstup: midi message

• vyznačení rohů obdelníka s takty na bitmapě
• kontrola dostatečného osvětlení (kontrast)
• kontrola některých pozic, jestli souhlasí / binárně náhled
• případně podle potřeby další

• vyhodnocení políček: zakryto/odkryto (překročení prahu sumy intenzit v daném políčku?), poslat pole pozic zakrytých kamenů
• vytvoření MIDI message, z pozice v řádku přiřadit tón, z pozice ve sloupci přiřadit timestamp
• poslat MIDI message
• synchronizace tempa v taktech

• posílat vyhodnocení po sloupcích zprava, tak jak ubíhá takt
• zaměřit se na případy položení kamene na kraj políčka, odstín ruky
• zaznamenávat i bříška prstů

• real-time miniaturní náhled vstupu
• mód kalibruj
• oktává nahoru/dolů, aktuální oktáva
• přepínání freeze, náhled aktuálního stavu
• další nápady?

Ota - vyhodnoceni vstupnich bitmap + optimalizace
    - poslat pozice zakrytych policek
    - podle videa kalibraci
    - otestovat video

Petra - ze zakrytych policek vytvorit MIDI message
      - oktavy a freeze funkce
      - otestovat v Abletonu jako MIDI controller
      - GUI