Research muss in der passenden Testumgebung passieren
Wie aus einer guten Usability eine Usability-Katastrophe werden kann
Kategorie: Beratung
Mit 5 Interviews 80 % aller Usability-Probleme lösen
Im User Experience Bereich gibt es magische Zahlen, die richtungsweisend für unsere Arbeit sind. Zwei dieser Zahlen sind fünf und 80. Denn: Nach Nielsen Norman lassen sich mit nur fünf Interviews 80 % der Usability-Probleme identifizieren. Diese beeindruckende Zahl ist das Ergebnis jahrelanger Forschung und Praxiserfahrung und wir bestätigen sie regelmäßig in unseren Studien für Kund:innen. Durch diese Methode gewinnen wir in den meisten Fällen wertvolle Erkenntnisse, die eine solide Grundlage für weitere Optimierungen bieten. Üblicherweise führen wir diese Interviews remote oder vor Ort in Teststudios oder ähnlichen Räumlichkeiten durch.
Ein sorgfältig erstellter Interviewleitfaden stellt sicher, dass der Ablauf und die Fragen in jedem Interview konsistent sind. Dadurch können auch unterschiedliche Interviewer eingesetzt werden, ohne dass dies einen Einfluss auf das Ergebnis hat.
Die Limits eines klassischen Usability Tests
Man könnte meinen, dass dies eine saubere Testsituation ist, in der die Ergebnisse nicht verfälscht werden können. Doch diese Annahme ist ein Trugschluss – und jeder wissenschaftlich arbeitende Mensch würde sich bei dieser Vorstellung die Haare raufen.
Ein kritischer Aspekt wird oft übersehen: Die reale Nutzungssituation der Anwendungen. – Stellen Sie sich kurz die Situation vor, in der Ihre Lösung (egal ob App, Website oder anderes Produkt verwendet wird). Stellen Sie sich einen relativ sterilen Raum vor? Stellen Sie sich Ihre Nutzenden allein mit ihrem Produkt vor? Sitzen Ihre Nutzenden starr am Tisch? Sind sie gerade zu Hause?
Wenn Sie diese Fragen mit „Ja“ beantworten können, melden Sie sich gerne bei mir, denn mir fällt kein Produkt ein, bei dem das tatsächlich der Fall ist 😄. Vielmehr nutzen Menschen Produkte an unterschiedlichsten Orten: Zuhause, wo sie sich wohlfühlen, unterwegs in der Bahn, wo die Internetverbindung abbrechen kann, oder draußen, wo es plötzlich zu regnen beginnt. In vielen Fällen sind sie auch nicht allein, sondern in Gesellschaft von Partner:innen, Kindern oder Freund:innen, während im Hintergrund Musik läuft oder sie den Straßenverkehr im Auge behalten müssen.
Genau diese externen Faktoren werden in vielen Usability-Tests übersehen und im evaluativen Research oft nicht berücksichtigt. Dies kann dazu führen, dass trotz sorgfältiger Planung und Durchführung der Tests, wichtige Erkenntnisse verloren gehen und letztlich das Produkt in der realen Nutzungssituation versagt.
Es kommt auf den Kontext an
Ein besonders aufschlussreiches Beispiel für die Wichtigkeit der richtigen Testumgebung liefert unsere Studie zu BONNmobil. Um die Weiterentwicklung bzw. Entwicklungsrichtung der App voranzutreiben, wurde ein evaluativer Research im Rahmen des Bonner Klimaplans angesetzt. Übergeordnete Usability sowie detailliertere Research-Fragen, die auf verschiedenen Hypothesen beruhen, sollten getestet werden.
Bei dem Stichwort App fällt in der Regel die Wahl auf ein Usability Testing, weil dieses im Vergleich zu anderen Methoden verschiedene Vorteile mit sich bringt:
- Usability Tests ermöglichen ausreichend Tiefe, um Usability Probleme aufdecken zu können.
- Sie ermöglichen direkte und ausreichend starke qualitative Daten.
- Wenn sie remote geführt werden, finden sie in einer für Teilnehmende gewohnter Umgebung statt.
- Sie bieten schnelle Erkenntnisse
Im Rahmen der BONNmobil Studie haben wir uns daher für einen zweigleisigen Ansatz entschieden: Einerseits führten wir face-to-face-Interviews mit potenziellen Nutzenden durch, andererseits testeten wir mit einigen dieser Nutzenden mobil. Diese mobilen Tests erwiesen sich als essenziell, um ein kritisches Usability-Problem zu identifizieren, das andernfalls übersehen worden wäre – ein entscheidender Aspekt, um die übergeordnete Fragestellung zu beantworten.
Somit haben wir Interviews mit insgesamt 3 Sub-Zielgruppen durchgeführt: 5 Kunden (stationär), 5 Nicht-Kunden (stationär), 5 Kunden (mobil). Im Fokus stand ein spezifischer Use Case: „Sie möchten von hier [Büro der Stadtwerke Bonn] bis zum Bonner Hauptbahnhof gelangen und entscheiden sich, einen eRoller dafür zu nutzen. Wie gehen Sie vor?“
In der Theorie sieht der Ablauf einfach aus: Man findet den Roller in der App, wählt ihn aus, mietet ihn per App, fährt theoretisch zum Hauptbahnhof und gibt ihn dort zurück.
In der Praxis jedoch ergab sich ein anderes Bild: Die Nutzenden fanden den Roller in der App, standen dann aber vor dem Gebäude und wussten nicht, in welche Richtung sie laufen sollten. Sie gingen nach Gefühl los, liefen jedoch in die falsche Richtung. Als sie schließlich den Roller sahen, nahmen sie an, dass es der richtige sei und versuchten, ihn per QR-Code zu mieten – was mit einer Fehlermeldung endete, da es der falsche Roller war.
Dieses Missverständnis führte zu einer Kettenreaktion von Fehlern und Unkonzentriertheit. Der entscheidende Punkt war, dass der Abgleich zwischen Theorie und Praxis nicht stattfand. Selbst wenn theoretisch klar ist, dass eine Karte zur Navigation genutzt werden kann, müssen Ankerpunkte vorhanden sein, anhand derer die Nutzenden ihre nächsten Schritte (im wahrsten Sinne des Wortes) bestimmen können.
Diese Tests haben gezeigt, wie wichtig es ist, die reale Nutzungssituation in die Usability-Tests einzubeziehen. Nur so können wir sicherstellen, dass die Ergebnisse auch in der Praxis Bestand haben und nicht nur unter idealisierten Testbedingungen.
Was sollten Sie aus diesem Beitrag mitnehmen?
Zusammenfassend lässt sich sagen, dass Usability-Tests nur dann wirklich aussagekräftig sind, wenn sie in einer realistischen Umgebung stattfinden. Unsere Studie zu BONNmobil hat eindrucksvoll gezeigt, wie entscheidend es ist, externe Einflüsse und reale Nutzungsszenarien in die Tests einzubeziehen. Nur so können wir sicherstellen, dass unsere Produkte den Anforderungen und Erwartungen der Nutzer gerecht werden und im Alltag bestehen.
Wir haben uns in dieser Studie für eine Mischung aus stationären und mobilen Usability-Tests entschieden, da diese die aufgestellten Researchfragen bestmöglich beantworten. Es gibt allerdings auch andere Research-Methoden, mit denen Sie den Kontext der Anwendung berücksichtigen können. Übergeordnet sprechen wir in diesem Fall von ethnografischen Studien.
In ethnografische Studien beobachten und analysieren Researcher das Verhalten und die Interaktionen von Menschen in ihrem natürlichen Umfeld. Ziel ist es, ein tiefes Verständnis für die Lebensweise, Gewohnheiten und Herausforderungen der Nutzenden zu entwickeln. Diese Studien bieten wertvolle Einblicke in den realen Nutzungskontext von Produkten und helfen, die tatsächlichen Bedürfnisse und Probleme der Nutzenden zu identifizieren.
Einige Unterkategorien dieser Studienart sind:
- Tagebuchstudien:
Bei Tagebuchstudien dokumentieren Nutzende ihre Erfahrungen und Interaktionen mit einer App, einer Website, einem digitalen Interface, etc. über einen längeren Zeitraum. Diese Methode bietet tiefe Einblicke in die alltägliche Nutzung und die Herausforderungen, denen Nutzende in ihrem natürlichen Umfeld begegnen. User führen detaillierte Aufzeichnungen über ihre Nutzungsszenarien, was die Identifikation von wiederkehrenden Problemen und Mustern erleichtert. Tagebuchstudien können je nach Researchfragen durch Leitfragen gestützt werden oder vollkommen offen verlaufen.
- Shadowing:
Diese Methode beinhaltet das Beobachten und Analysieren von Nutzenden in ihrer realen Umgebung über einen bestimmten Zeitraum hinweg. Forscher begleiten die Nutzenden in ihrem Alltag, um ein tiefes Verständnis für den Kontext zu entwickeln, in dem das Produkt verwendet wird. Shadowing ermöglicht es, die Einflüsse externer Faktoren auf die Nutzung und das Verhalten der Nutzenden zu erkennen und zu verstehen.
Beide Methoden bieten wertvolle Einblicke, die über das hinausgehen, was in einer kontrollierten Testumgebung erfasst werden kann. Sie ermöglichen es, Produkte so zu gestalten, dass sie den tatsächlichen Bedürfnissen und Herausforderungen der Nutzer gerecht wird.
Leitfragen für Ihren nächsten Research:
- Kann der zu testende Use Case von externen Einflüssen betroffen sein?
- Können diese externen Einflüsse in der Testumgebung nachgebildet werden?
- Wie stark beeinflussen externe Faktoren das Nutzerverhalten und die Usability des Produkts?
- Welche realistischen Nutzungsszenarien sollten in die Testplanung einbezogen werden?
- Wie können wir sicherstellen, dass die Testergebnisse die tatsächliche Nutzung widerspiegeln?
- Welche zusätzlichen Ressourcen oder Technologien sind notwendig, um eine realistische Testumgebung zu schaffen?
Schauen Sie doch dazu in unsere anderen Beiträge rein:
Hier haben Sie die Möglichkeit den Blog-Eintrag zu bewerten
Immer auf dem Laufenden bleiben!
Wir senden Dir ca. alle 2 Wochen eine Nachricht, wenn ein neuer Blog-Beitrag online ist.
Kein Spam, nur Wissen.
Autorenprofil
Letzte Beiträge
- 22. Juli 2024CasesCase Study: BONNmobil
- 22. Juli 2024BeratungDie Bedeutung der Testumgebung im UX Research
- 4. Oktober 2023Gedanken & GesprächeUX in Südkorea
- 12. Juli 2023CasesCase Study: Kreis Siegen-Wittgenstein
