Die Evaluationen laufen!

Nachdem die ersten entwickelten Interaction-Pattern in Prototypen umgesetzt wurden, konnte die Evaluation und damit der nächste Schritt im iterativen Designprozess gestartet werden.

 

Im User Experience Labor der Hochschule der Medien wurde zur ersten Runde der Nutzerstudien verschiedener Anwendungen und Technologien geladen. Neben den im Rahmen des Projektes 3D-GUIde entwickelten Prototypen der Projektpartner ISG und Re’flekt wurden auch Applikationen weiterer Software-Unternehmen betrachtet.

 

Eine Übersicht über die verwendeten Applikationen und die analysierten Fokusthemen sind der nachfolgenden Tabelle zu entnehmen:

 

Testobjekte Fokusthema Software-Pakete
Desktop Ansicht ändern Autodesk Fusion 360, Autodesk Maya, Rhino 5, ISG Virtuos, Blender 2.78
Desktop Objekte manipulieren (Verschieben, Rotieren, Skalieren etc.) Autodesk Fusion 360, Autodesk Maya, Rhino 5, Blender 2.78
AR (Tablet) Selektion in Augmented Reality IONIQ von Re’flekt
Desktop Snapping ISG Virtuos

 

 

Im Rahmen des Projektes werden sowohl gängige Evaluationsmethoden als auch auf das Projekt angepasste verwendet. In der ersten Evaluationsrunde wurde das Thema intuitive Bedienbarkeit in den Vordergrund gestellt, welche durch die Erweiterung eines klassischen Nutzertests um eine Zweitaufgabe getestet wurde.

 

 

Zum Hintergrund der Methode:

In der Definition von Usability im Rahmen der ISO 9241-11 ist unter anderem die Rede von „Effizienz“. Effizient bedeutet in diesem Zusammenhang die Relation von Effektivität und Ressourcen, welche der Nutzer aufwenden muss, damit er ein bestimmtes Ziel erreichen kann. Ein Aspekt dabei ist die mentale Auslastung des Nutzers während der Nutzung.

 

Soll eine Software nicht nur „usable“, sondern sogar intuitiv sein, spielt dieser Teilaspekt eine entscheidende Rolle. Intuitive Bedienbarkeit wird allgemein meist als die unbewusste Anwendung von Vorwissen verstanden, die zu effektiver und zufriedenstellender Interaktion führt und dabei nur ein Minimum an kognitiven Ressourcen verbraucht. Aktuelle Forschung geht ferner davon aus, dass sich anhand der erlebten mentalen Anstrengung feststellen lässt, ob eine Tätigkeit intuitiv war oder nicht.

 

Mentale Beanspruchung wird in der Kognitionspsychologie üblicherweise durch das sog. Zweitaufgaben-Paradigma (engl. dual-task paradigm) gemessen. Im Rahmen des Projekts wurde basierend auf diesem Paradigma eine Methode entwickelt, um im Rahmen eines Nutzertests intuitive Bedienbarkeit messen zu können. Man geht beim Zweitaufgaben-Paradigma davon aus, dass Menschen nur beschränkt mental belastet werden können und sich ihre mentale Gesamtkapazität zwischen verschiedenen parallel durchgeführten Aufgaben verteilt. Lässt man einen Menschen dementsprechend zu seiner eigentlichen Hauptaufgabe (z. B. Bedienen einer Software) eine Zweitaufgabe (z. B. Klopfen eines Rhythmus mit dem Fuß) absolvieren, so können anhand der Performance bei der Zweitaufgabe Rückschlüsse über die intuitive Bedienbarkeit der Hauptaufgabe gezogen werden. Vereinfacht gesagt bedeutet dies, je weniger mentale Ressourcen von der Hauptaufgabe verbraucht werden, desto akkurater kann die Zweitaufgabe durchgeführt werden. Oder anders gesagt, je weniger intuitiv die Bearbeitung der Hauptaufgabe für den Nutzer ist, desto weniger geistige Kapazität bleibt ihm für die Zweitaufgabe übrig was sich auch in seiner Performance widerspiegelt. Auf diese Weise kann mittels der Performance bei der Zweitaufgabe die intuitive Bedienbarkeit der Hauptaufgabe bewertet werden.

 

Der grobe Versuchsablauf der Methode gestaltet sich wie folgt:

  1. Die Nutzer absolvieren eine Zweitaufgabe zusätzlich zu einem Nutzertest:
    1. Hauptaufgabe: Absolvieren von Aufgaben in einer Software
    2. Zweitaufgabe: Klopfen eines Rhythmus
  2. Das Nutzerverhalten und die Rhythmusabfolge werden aufgezeichnet. Jedes Abweichen vom Rhythmus wird von der mitlaufenden Tracking-Software mit einem Rhythmus-Marker Zeitstempel versehen.
  3. Anschließend werden den Nutzern die eigenen Aufnahmen vorgespielt und mit der Methode „Lautes Denken“ die Teilnehmer gebeten, das aufgenommene Verhalten zu kommentieren. Ein Interviewer moderiert diese Befragung. Anhand der Rhythmus-Marker kann er dabei gezielt auf Probleme der intuitiven Benutzung eingehen und verantwortliche Gestaltungselemente identifizieren.

 

Neben der objektiven Messung mit der oben beschriebenen Methodik kamen bei den Nutzertests auch diverse Fragebögen wie der QUESI zum Einsatz, um auch zu ergründen, wie intuitiv Nutzer die Software erleben. Durch die Rhythmus-Marker und die Auswertung der Fragebögen sowie Befragung wird eine Einstufung der Programme hinsichtlich ihrer intuitiven Bedienbarkeit und der Beanspruchung durch die Aufgabe vorgenommen.

 

Die nachfolgenden Bilder demonstrieren den Versuchsaufbau im UX Labor der HdM

 

Versuchsaufbau

Quelle: HdM

 

Aufnahme im UX Labor der HdM

Quelle: HdM

 

Rhythmus klopfen mit dem Fuß

Quelle: HdM

 

Nutzerverhalten und Rhythmus werden aufgezeichnet.

Quelle: HdM

 

Für mehr Informationen zum Ablauf stehen unsere Ansprechpartner von der Universität Würzburg und Hochschule der Medien sehr gerne zur Verfügung.

 

Detailliertere Informationen zu der vorgestellten Testmethode finden Sie auch in der folgenden Veröffentlichung:

 

Daniel Reinhardt and Jörn Hurtienne. 2017. Interaction Under Pressure: Increased Mental Workload Makes Issues of Intuitive Interaction Visible. In Proceedings of the 2017 ACM Conference Companion Publication on Designing Interactive Systems (DIS ’17 Companion). ACM, New York, NY, USA. DOI: http://dx.doi.org/10.1145/3064857.3079121

 

7. Juni, 2017