Zvuková prezentace menu

Andreas Stefanidis (stefaan1[at]fel.cvut.cz)

Kateřina Štemberová (stembka1[at]fel.cvut.cz)

Cílem této semestrální práce je realizace programu pro prezentaci menu (např. mobilního telefonu) pomocí prostorového zvuku.

Přestože dnes existují různá zařízení a čtečky pro nevidomé, informace je jimi prezentována pouze lineárně, uživatel tedy nemá možnost získat informaci o prostorové vazbě mezi jednotlivými objekty, tak jak se to – zcela samozřejmě – děje při vizuální prezentaci. Naším cílem tedy je takovou představu zvukově zprostředkovat.

Vzhledem k tomu, že se jedná o ještě poměrně neprozkoumanou oblast, bude se zčásti jednat o „experimentální“ projekt, který může být případně využit i v dalším výzkumu na fakultě.

Aplikaci bychom chtěli realizovat s využitím vícekanálové zvukové aparatury v laboratoři IIM. Naším úkolem tedy bude seznámit se s jejím fungováním, stejně jako s fungováním a generováním vícekanálového zvuku obecně, a dále pak vymyslet způsob vlastní prezentace informace. Výsledný program bude pravděpodobně realizován v jazyce C/C++ nebo Java.

Referenčních projektů není příliš mnoho, ale jeden zajímavý jsme nalezli na stránkách organizace ICAD (potřeba poslouchat ve sluchátkách). Poměrně se blíží tomu, čeho bychom rádi ve výsledku dosáhli i my - tuto představu lze popsat pomocí analogie lesa: položky menu se budou (zdánlivě) nacházet kolem dokola uživatele, ten jimi tedy bude obklopen podobně jako stromy v lese a v závislosti na tom, kterým směrem se bude v menu pohybovat (ovládání bude zřejmě řešeno pomocí kurzorových šipek), budou se některé položky, resp. jejich zvuková reprezentace, zdát blíže** nebo dále.

Pro realizaci projektu jsme uvažovali několik možných variant. V současnosti je dostupných několik různých API, které proklamují podporu prostorového zvuku. Dělí se v zásadě na dvě varianty a to rozhraní pro jazyk Java a rozhraní pro jazyk C/C++:

Java3D – Rozhraní Java3D sice ve své dokumentaci uvádí, že prostorový zvuk podporuje nicméně při bližším zkoumání, jsme zjistili, že zde situace není tak jednoznačná. Java3D podporovala prostorový zvuk do verze 1.3.2, nicméně po této verzi byl tento audio engine kvůli problémům odebrán. Nicméně dal se až do verze 1.4.0 vynutit přímo při spuštění aplikace ale tato možnost již také není nyní dostupná. V dalších byl přidán nový audioengine a to Headspace engine který využíval OpenAL nicméně jednalo o software třetí strany a společnost SUN/ORACLE nemá již práva k jeho šíření a není již proto také v posledních verzích dostupný. Jediný dostupný audio engine v poslední verzi je JavaSound, který ale obsahuje také mnoho chyb. Poslední možností je JOALMixer který využívá rozhraní JOGL, ale není součástí Java3D a potřebuje ke svému běhu JOGL, což je projekt který se v současné době již nerozvíjí a proto bude u tohoto enginu asi nutné počkat na jeho implementaci přímo do Java3D aby byl bez potíží použitelný.

JOGL- Jedná se o rozhraní zpřístupňující OpenAL API do jazyku Java. V dnešní době se však již nevyvíjí

LWJGL- Jedná se převážně o herní engine využívající OpenGL a OpenAL

DirectSound , XAudio2 a XACT – Jsou rozhraní které jsou součástí DirectX a která odporují všechny platformy společnosti Microsoft . Rozhraní XAudio2 a XACT jsou nástupci DircetSound a DirectSound3D. XACT je high-level API práce je s ním proto jednodušší než v případě XAudio2 API které je low-level. Nicméně XACT v dnešní době podporuje pouze konfigurace 2.0 a 5.1 což je značně limitující.

OpenAL – Jedná se o multiplatformní api využívající konvence používané v grafickém rozhraní OpenGL. Problém u tohoto API je, že od v systémech Windows Vista a Windows 7 podporuje pouze stereo výstup a jedinou možností jak na těchto systémech provozovat OpenAL pro prostorový zvuk je využití zvukové karty od společnosti Crative.

Nejdříve jsme zamýšleli využití rozhraní Java3D nebo OpenAL, ale kvůli výše zmíněným problémům se nyní přikláníme spíše k využití API XAudio2 a X3DAudio.

Program na otestování možností prostorového zvuku v IIM

Program obsahuje několik testů zaměřených na odzkoušení funkčnost rozhraní XAudio2 v IIM a dále na možnosti navigace v prostoru pomocí vjemů získaných pouze pomocí sluchu.

http://www.icad.org/audio