nw  

Innovative Multimodale Multitouch Interface fr spielerische Klangmanipulation

Zusammenfassung

Multitouch Interfaces sind mittlerweile weit verbreitet, das Musizieren mit Smatphones und Tablets wird immer beliebter. Die meisten Apps bauen dabei auf relativ konventionellen User Interfaces auf. Unser Ziel ist es, Apps zu gestalten, die Kindern und Jugendlichen einen neuartigen, spielerischen Zugang zu Klang bieten, und so einen Mehrwert für die Musikpädagogik und die Klangbildung bieten.

Musiknoten
Schlüsselbegriffe
Ziel der Arbeit und Problemstellung

Das Ziel des Projektes ist die Umsetzung eines Multitouch Interfaces für Android oder iOS Smartphones oder Tablets (ab ca 6" Bilschirmdiagonale) um Jugendlichen eine kreative, mulitmodeale Auseinandersetzung mit den Parametern Tonhöhe, Klangfarbe und Zeit zu ermöglichen. Mindestanforderung wird die Möglichkeit sein, Klangsamples über ein einfaches GUI in Echtzeit zu verändern und anzuordnen. Dabei sollen einfache geometrische Formen (Kreis, Vielecke, Linien) mit Klängen assoziiert werden. Durch Transformation deiser Grundformen wird der Klang verändert, z.B. als zunehmende Schärfe bei spitzen Winkeln (vgl. "Booba & Kiki" Formen), Einschränkung des Frequenzumfangs bei Annäherung der Form an eine Linie, optische Unregelmässigkeiten bei Klangverzerrungen, etc.. Die Klangobjekte sollen durch gegenseitiges Andocken zu Sequenzen verbunden werden können. Weitere Funktionen können im Designprozess entwickelt werden. Zu prüfen wäre auch die Möglichkeit, mittels Frequenzanalyse die geometrische Grundform eines Samples zu bestimmen. Das GUI soll dabei weitgehend ohne herkömmliche Klang-Interfaceelemente (Play, Stop, Fader, Potis etc.) auskommen.


Die Herausforderung liegt in der Entwicklung eines einfachen GUI's basierend auf geometrischen Grundformen, zwecks mulitmodaler Echtzeitmanipulation von Klängen.

Technologien/Fachliche Schwerpunkte
Ergebnis und Fazit

Der Prototyp hat aus unserer Sicht Potential. Die Usability-Tests haben ergeben, dass der Benutzer manchmal nicht weiss, was zu machen ist, aber sobald er weiss wie, macht es Spass. Eine zentrale Funktion ist das Mapping, welche dem Benutzer mehr Raum fr Experimente gibt. Die Applikation könnte nun um mehr Effekte und Polygoneigenschaften erweitert werden. Es könnten zusätzliche Gesten interpretiert werden, welche das Gefühl vom Formen verstärken. Neben der Aufnahmefunktion wäre es spannend, zusätzliche Audioquellen zur Auswahl zu haben. Am GUI muss sicher noch einiges verbessert werden und auch die Software-Architektur hat noch Verbesserungspotential.

Screenshots
Initial Screen First Manipulation Settings Screen Third Manipulation

Projektdaten

Projektdauer: 1 Semester
Aufwand in Personenstunden: ca. 360h je Person
Teamgrösse: 2 Studierende

Auftraggeber

Pädagogische Hochschule FHNW
Institut Sekundarstufe I und II
Proffesur Musikpädagogik
Herr Daniel Hug

Projektteam
Kontakt

Prof. Dr. Doris Agotai, doris.agotai@fhnw.ch

Roman Bolzern, roman.bolzern@fhnw.ch

<< zurück