Kategorie-Archiv: Fragebogendesign

User Experience mit Fragebögen messen

User Experience messen – das ist Dr. Martin Schrepp’s Thema aus Leidenschaft.

Dr. Martin Schrepp im Profil.

Dr. Martin Schrepp

Martin Schrepp studierte Mathematik & Psychologie an der Universität Heidelberg. 1990 schloss er das Studium mit dem Titel Diplom-Mathematiker ab und begann eine Promotion in Psychologie. Nach Abschluss der Promotion wechselte er zur SAP AG. Dort ist Dr. Martin Schrepp seit 1994 als UX Experte tätig.

Seiner Leidenschaft für das Messen von UX konnte er stets treu bleiben.

Dr. Martin Schrepp hat zusammen mit Theo Held und Bettina Laugwitz den  User Experience Questionnaire (UEQ) entwickelt und betreut die Weiterentwicklung dieses häufig genutzten UX Fragebogens seitdem zusammen mit Andreas Hinderks und Prof. Dr. Jörg Thomaschewski.

In  zahlreichen Forschungs-, Buchbeiträgen und in seinem Buch User Experience mit Fragebögen messen hat Martin Schrepp sein UX Wissen geteilt und damit der UX Community viel Gutes getan.

„User Experience messen“ – Dr. Martin Schrepp im Interview

Im Interview auf Nutzerbrille gibt Dr. Martin Schrepp seine Erfahrungen zu methodischen Fragen rund um das Messen von User Experience weiter.

Ich freue mich sehr heute mit Dir, lieber Martin, über das Thema „User Experience mit Fragebogen messen“ sprechen zu können. Ein Thema das in der UX Community schon seit Jahren ganz eng mit Dir verbunden ist.
Wie entwickelte sich Deine Leidenschaft für dieses Thema?

[Dr. Martin Schrepp] – Bevor ich als UX Designer angefangen habe, hatte ich in Psychologie promoviert. Dort ist ja das Messen und das Erzeugen von geeigneten Messinstrumenten für nicht direkt beobachtbare Konstrukte (z.B. Intelligenz, Persönlichkeitseigenschaften) ein Standardthema. Hier wird naturgemäß auch stark mit Fragebögen gearbeitet.

Als Designer hat mich dann die Frage, wie messe ich eigentlich die Wahrnehmung, die die Nutzer zu den von mir betreuten Produkten haben, stark interessiert. Ich habe dann 2006 mit zwei Kollegen bei SAP den User Experience Questionnaire (UEQ) entwickelt (den kann man sich unter www.ueq-online.org ansehen). Seitdem habe ich eigentlich kontinuierlich an der Weiterentwicklung dieses Fragebogens und anderen Themen im Bereich „UX messen“ gearbeitet und dabei natürlich auch immer versucht mich zu informieren, was andere in dem Bereich so treiben. Daraus und aus eigenen praktischen Erfahrungen mit verschiedenen Fragebögen, ist letztlich auch das Material für das Buch User Experience mit Fragebögen messen entstanden.

Wann hast Du das letzte Mal UX mit einem Fragebogen gemessen – und welche konkreten Erkenntnisse konntest Du für Deine Arbeit gewinnen?

[Dr. Martin Schrepp] – Ich verwende eigentlich regelmäßig Fragebögen, um quantitative Daten zu erhalten, die mir in gewisser Weise zeigen, wo die von mir betreuten Produkte bzgl. UX stehen. Natürlich den UEQ, aber auch den VISAWI oder den SUS. Häufig auch in Verbindung mit klassischen Usability Tests, da sich diese beiden Methoden eigentlich sehr gut ergänzen.

Ein Fragebogen liefert im Gegensatz zu einem Usability Test keine konkreten Hinweise zur Verbesserung eines Produkts, z.B. dass ein bestimmter Begriff auf dem UI nicht gut verständlich ist. Aber er zeigt, welchen subjektiven Eindruck Nutzer von einem Produkt haben, wo man im Vergleich zu anderen Produkten steht (z.B. über einen Benchmark, den die meisten Standardfragebögen anbieten) bzw. in welcher Richtung man ein Produkt weiterentwickeln muss. Hat man z.B. gute Werte für die pragmatischen UX Aspekte (z.B. Effizienz oder Erlernbarkeit), aber schlechte Werte für Stimulation (Fun of Use), ist das ein klares Indiz, in welcher Richtung man für die nächste Version des Produkts arbeiten muss.

UX Fragebögen – Wie wähle ich den richtigen aus?

Es gibt viele kostenlos zugängliche Fragebögen um UX zu messen. Einige versprechen eine ganzheitliche Messung, andere fokussieren auf einzelne Facetten der User Experience. Da fällt die Auswahl oft schwer. Wie gehst Du vor um das richtige Instrument zu finden?

[Dr. Martin Schrepp] – Bevor man einen Fragebogen wählt, sollte man sich immer die Frage stellen, warum man UX überhaupt messen will? Das ist ja kein Selbstzweck, sondern soll letztlich helfen, Produkte erfolgreicher zu machen.

Hier muss man natürlich die UX Aspekte (z.B. Effizienz, Erlernbarkeit, Fun of Use, etc.) messen, die für die Nutzer des Produkts wichtig sind. Schließlich will man wissen, wie zufrieden die Nutzer sind und in welchen Bereichen das Produkt nicht gut ankommt. Welche Aspekte das sind, hängt stark von der Art des Produkts ab. Für eine betriebswirtschaftliche Anwendung sind für die Nutzer andere Aspekte relevant, als für einen Web-Shop oder ein Soziales Netzwerk.

Aber das reicht in der Regel nicht aus. Es gibt hier auch Marketinggesichtspunkte zu berücksichtigen. Wie wird das Produkt beworben und platziert? Braucht man eine originelle Gestaltung, um die Aufmerksamkeit auf das Produkt zu lenken? Wenn ja, sollte man den Aspekt der Originalität auch messen, selbst wenn er für die eigentlichen Nutzer nicht so wichtig sein sollte.

D.h. im ersten Schritt muss man sich überlegen, welche UX Aspekte man messen will, um das Produkt erfolgreicher zu machen. Wenn man ein Produkt und seine Nutzer gut kennt, fällt diese Auswahl meist nicht schwer. Wenn nicht, kann man über Befragungen von Nutzern oder auch Produktverantwortlichen meist zumindest ein grobes Verständnis für die relevanten UX Aspekte erreichen.

Hat man eine solche Liste „relevanter“ UX Aspekte, kann man auf die Suche nach einem passenden Fragebogen gehen. D.h. einem Fragebogen, der möglichst viele der wichtigen UX Aspekte mit einer Skala misst. Wenn man Pech hat, kommt man mit einem einzigen Fragebogen nicht aus, sondern muss mit mehreren arbeiten oder muss sich auf die Messung der wichtigsten UX Aspekte beschränken.

„Man lernt am meisten über UX Fragebögen, wenn man konkret mit ihnen arbeitet.“ (Dr. Martin Schrepp).

Woran kann ich erkennen, ob ein Messinstrument ein gutes ist? Was sind zentrale Qualitätskriterien eines Fragebogens?

[Dr. Martin Schrepp] – Für UX Fragebögen hat man eigentlich ähnliche Qualitätskriterien, wie für andere Arten von Fragebögen oder psychologische Tests. Objektivität (d.h. das Ergebnis sollte unabhängig vom Durchführenden sein, was bei den stark standardisierten UX Fragebögen eigentlich überall erfüllt ist), Reliabilität (Genauigkeit, mit der eine Skala eines Fragebogens misst) und Validität (misst die Skala auch wirklich das, was sie zu messen vorgibt).

Bei Standardfragebögen sind meist einige wissenschaftliche Studien vorhanden, in denen die Autoren des Fragebogens versuchen, genau diese Qualitätskriterien nachzuweisen. Das ist gerade bei der Validität oft nicht ganz einfach, da die zugrundeliegenden UX Konstrukte oft nicht sehr sauber beschrieben und von anderen UX Qualitäten abgegrenzt sind.

Umfragedaten messen und interpretieren!

Wenn ich eine Suchmotivation hab, dann ist Steuerbarkeit und Effizienz für mich sehr wichtig. Bin ich im Stöbermodus, dann mag ich Aktivierung durch Fotos, Animationen und eine abwechslungsreiche Gestaltung, schätze Originalität und Schönheit in der Gestaltung besonders wert.
Wie kann man situative Einflussfaktoren bei der Messung von UX und der Interpretation von gemessenen Daten beachten?

[Dr. Martin Schrepp] – Wenn die Nutzer der Anwendung oder Web-Seite mit beiden Motivationen unterwegs sind, ist die Unterscheidung nicht relevant. Dann spielen einfach alle UX Kriterien aus Such- und Stöbermodus eine Rolle. Schwierig wird es, wenn man Nutzergruppen hat, die jeweils vorwiegend suchen oder stöbern. Die Nutzer beider Gruppen haben dann evtl. sehr unterschiedliche Nutzererlebnisse mit der gleichen Anwendung, was natürlich zu sehr unterschiedlichen Bewertungen führen kann. Wenn man so etwas vermutet, lohnt es sich sicher die Daten des Fragebogens daraufhin zu untersuchen, ob man die Teilnehmer in unterschiedliche Gruppen mit unterschiedlichen Ansichten unterteilen kann.

In solchen Fällen macht es auf jeden Fall Sinn einem UX Fragebogen noch einige zusätzliche Fragen voranzustellen, die das Nutzungsverhalten des Teilnehmers (oder andere Besonderheiten, von denen man annimmt, dass sie die UX Wahrnehmung beeinflussen) erfragen.

UX & Marke – Kann man das trennen?

Lass uns über den Zusammenhang zwischen Marke und UX sprechen. Es gibt Unternehmen deren Markenwerte sind so stark , dass Nutzer UX Schwächen verzeihen. Meine These: Wenn Apple den „Buy-Button“ auf seinem Webshop absichtlich versteckt, dann hat das keinerlei Effekt auf den Abverkauf. Die Shopbesucher suchen einfach so lange, bis sie ihn gefunden haben.
Ausstrahleffekte von der Marke auf die UX treten stets auf.  Wie gehe ich damit um, wenn es beispielsweise darum geht die UX zweier Anwendungen miteinander zu vergleichen?

[Dr. Martin Schrepp] – Sicher gibt es einen Zusammenhang zwischen Markenwahrnehmung und UX. Eine positive Markenwahrnehmung bei einem Konsumenten entsteht ja auch über die Zeit durch positive Erlebnisse mit einem Produkt. D.h. eine positive UX ist einer der Faktoren, die eine positive Markenwahrnehmung erzeugen.

Hat ein Nutzer umgekehrt schon eine positive Wahrnehmung einer Marke, wird er oder sie auch die UX entsprechend einschätzen, d.h. selbst wenn eine neue Produktversion Schwächen hat, wird das bei einer positiven Markenwahrnehmung deutlich milder beurteilt werden, als bei einer negativen Markenwahrnehmung. In der Marktforschung ist ja das Phänomen der evaluativen Konsistenz gut untersucht, d.h. die Tendenz fehlende Informationen zum Produkt aus der allgemeinen Bewertung der Marke abzuleiten (z.B. wenn man für Premiummarken auch eine hohe Produktqualität annimmt und damit einen hohen Preis akzeptiert, was ja nun leider faktisch nicht immer stimmt). Ähnliche Effekte treten natürlich auch bei der Beurteilung eines Produkts mit einem UX Fragebogen auf.

Ein UX Fragebogen misst immer die subjektive Wahrnehmung von UX. D.h. nehmen wir mal an, dass wir zwei Produkte mit einem UX Fragebogen messen. Nehmen wir weiter an, dass die Produkte eigentlich vom Design und von der Interaktion völlig identisch sind. Produkt A ist einer Marke mit sehr positiver Markenwahrnehmung zugeordnet, Produkt B stammt von einer völlig unbekannten Marke. Was werden wir als Ergebnis bekommen?

Vermutlich wird Produkt A im Vergleich der Fragebogenergebnisse besser abschneiden. Logisch, die subjektive Wahrnehmung ist auch besser. Ich denke das Beispiel zeigt sehr schön zwei wichtige Aspekte von UX Fragebögen. Erstens messen diese immer den subjektiven Eindruck von einem Produkt, d.h. man sollte das nicht mit einer wie auch immer definierten „objektiven“ User Experience verwechseln. Zweitens muss man Ergebnisse eines UX Fragebogens immer im Kontext interpretieren. Einfach Daten erheben und platt die Zahlen vergleichen kann unter Umständen ziemlich irreführend sein. Aber das gilt natürlich für jede Messmethode.

Gibt uns abschließend noch 2-3 Tipps für eine weiterführende Lektüre zum Thema „UX mit Fragebögen messen“?

[Dr. Martin Schrepp] – Ich denke am meisten lernt man über UX Fragebögen, wenn man konkret mit ihnen arbeitet. Die meisten Fragebögen sind frei verfügbar und wenn man den nächsten Usability Test macht, kostet es wenig Zeit, einfach mal einen Fragebogen mitlaufen zu lassen. Oder warum nicht mal einen Link zu einem Online-Fragebogen per Mail an bekannte Kunden schicken?

Die im deutschen Sprachraum verbreiteten Fragebögen UEQ, VISAWI, AttrakDiff2 sind auch alle frei verfügbar, d.h. einfach mal ausprobieren, wenn sich eine Gelegenheit bietet.

Vielen Dank, lieber Martin, für diese Einblicke in Deinen Wissensschatz in Sachen „User Experience mit Fragebögen messen“!

Der Beitrag User Experience mit Fragebögen messen erschien zuerst auf Nutzerbrille.

How you ask is everything – UX Design für Fragebögen

Wann haben Sie das letzte Mal an einer Umfrage teilgenommen? Letzte Woche, gestern, vielleicht gerade eben? Gelegenheiten gibt es zahlreiche.

Fragenbögen, die sich am Bildschirm ausfüllen lassen, sind schnell erstellt. Der Markt bietet viele Tools zum Aufsetzen von Umfragen. Viele Umfragetools sind kostenlos nutzbar. Ein Online-Fragebogen lässt sich damit einfach umsetzen. Programmierkenntnisse, ja selbst die Bereitschaft eine einfache Syntax zu erlernen, sind nicht erforderlich.

Nette Aufforderung zur Teilnahme an einer Umfrage

Menschlich und freundlich fragen!

Diese positiven Rahmendaten befördern die Lust am Fragen.

Unternehmen und Forschungsinstitute nutzen denn auch die ihnen gebotenen Möglichkeiten. Sie führen Zufriedenheitsumfragen, Anforderungsanalysen, Konzepttests oder Zielgruppenbefragungen regelmäßig durch.

Damit steigern sie ihr Verständnis für Kunden und Nutzer. Eine wichtige Grundlage für geschäftlichen Erfolg.

Fragebogendesign: Viel Schatten, wenig Licht!

Wenn Tools kostenlos angeboten werden und zugleich einfach einzusetzen sind, dann werden sie von vielen genutzt. Dies gilt für Umfragetools natürlich auch: Mit ihrer Hilfe werden immer mehr Umfragen durchgeführt.

Die Schattenseiten dieser Entwicklung sind mal eben schnell umgesetzte, fehlerhafte und wenig nutzerfreundliche Fragebögen.

Wir leiden immer öfter unter Umfragen, die eine oder gar mehrere dieser Schwächen aufweisen:

  • Optisch wenig ansprechende Fragebögen.
  • 40, 50, gar 60 Fragen in einer Umfrage.
  • Unverständliche Fragen, zu viele und unpassende Antwortvorgaben.
  • Fragebögen mit ungeeigneten Skalen und nicht sinnvoll gereihten Fragen.
  • Umfragen deren Ausfüllen wenig Freude bereitet, stattdessen mit hoher kognitiver Belastung verbunden ist – Convenience und Joy of Use? oft Mangelware.

Ein guter Fragebogen hinterlässt einen bleibenden Eindruck, ein schlechter leider auch.“
(Dr. Sandra Gärtner).

Eine wahre Aussage, trefflich formuliert. Negative Wirkungen auf die Einstellungen zur Marke des fragenden Unternehmens sind jedoch nicht die einzige Gefahr schlechter Fragebögen. Weitere Gefahren zeigen sich in einer zunehmenden Befragungsmüdigkeit und der Ableitung falscher Entscheidungen aus Umfragedaten.

  • Ein schlecht umgesetzter Fragebogen liefert keine zuverlässigen Daten. Es kommt zu Fehlinterpretationen und in der Folge werden (zunächst oft unbewusst) falsche Entscheidungen abgeleitet. Der daraus entstehende, langfristige Verlust kann enorme Ausmaße annehmen.
  • Viele schlecht gemachte Umfragen führen zu einer zunehmenden Befragungsmüdigkeit:
    Immer mehr Menschen sind immer weniger bereit an Umfragen teilzunehmen.

Das war’s dann mit den goldenen Zeiten für die Forschung.
Die nachteiligen Entwicklungen können jedoch umgekehrt und aufgehalten werden. Ein zentraler Erfolgsfaktor: Fragebögen mit guter User Experience.

6 Schritte hin zum gelungenen Fragebogen!

Umfragen sollten, nein müssen genauso sorgsam wie Bestellprozesse in Online-Shops behandelt und gestaltet werden (letztere bestehen schließlich auch zu 80% aus Fragen und Eingabefeldern). Uns allen vertraute und bewährte UX Denk- und Prozessmodelle lassen sich problemlos auf Umfragen anwenden. Sie stellen eine hervorragende Grundlage dar, um einen UX Design Prozess für Umfragen abzubilden und in sinnvolle Phasen einzuteilen.

Konzeptions- und Analysephase

  1. Umfrageteilnehmer/-innen und deren Nutzungskontext beschreiben und verstehen.
  2. Erfordernisse sowohl für die formale Gestaltung als auch die Form und den Zeitpunkt der Ansprache der Befragungsteilnehmer/-innen ableiten.

Prototyping & Testphase

  1. Untersuchungsthemen und Forschungsthesen in verständliche Fragen und Antworten überführen.
  2. Eine erste Fragebogenversion erstellen und mit Nutzern testen, weiterentwickeln und erneut testen („iterative, mehrstufige Pretests“).

Monitoring und kontinuierliche Verbesserung

  1. Die Umfrage starten, Abbruchquoten und -stellen messen und
  2. (Detail-)Optimierungen vornehmen.

Für einen derartigen, systematischen Fragebogendesign-Prozess braucht es Erfahrungen und Kompetenzen in unterschiedlichen Feldern:

  • User Requirement Engineering
  • User Interface Design
  • Interaktionsdesign
  • UX Testing.

Und nicht zu vergessen: Es braucht Erfahrungen und Kenntnisse darüber, wie  Umfragethemen, Thesen und Forschungsfragen in verständliche Fragen überführt („operationalisiert“) werden, so dass gemessen wird was gemessen werden soll (Stichworte: Reliabilität, Validität).

Für das Testen eines Fragebogendesigns bieten sich gängige UX Verfahren & Methoden an: Nutzerbeobachtung, Denkprotokolle (Think-Aloud) und abschließende, halbstrukturierte Interviews. Solche Tests können sowohl im Lab als auch remote durchgeführt werden. 5-6 Testteilnehmer/-innen sind in der Regel ausreichend.

Return on Investment – UX Design für Fragebögen lohnt sich!

Das Resultat eines UX Design Prozesses für Umfragen sind Fragebögen, die optisch ansprechend sind, deren Ausfüllen Freude bereitet, leicht von der Hand geht (Convenience), die geringe Abbruchraten aufweisen und deren generierten Daten eine gültige und zuverlässige Grundlage für die Ableitung von Entscheidungen bieten.

Die Gestaltung solcher Umfragen kostet Zeit und Geld. Klar. Auch bei der Gestaltung von Fragebögen gibt es erfolgreiches UX Design nicht kostenlos. Aber: Die Investition rechnet sich. Denn: Ein schlechter Fragebogen hinterlässt einen bleibenden Schaden beim Markenimage und führt zu falschen Entscheidungen. Beides ist dauerhaft deutlich teurer als ein systematisch, nutzerzentriert entwickelter Fragebogen.

Die Kosten-Nutzen-Rechnung geht vor allem dann auf, wenn ein guter Fragebogen mehrfach eingesetzt wird – beispielsweise als Monitoring- oder Benchmarking-Instrument.

Sie wollen Ihre Umfragen überprüfen?
Sie benötigen bessere Fragebögen?

Sprechen Sie mich an. Gern bringe ich meine Erfahrungen ein. Ich helfe Ihnen eine zuverlässige Datenbasis für Ihre Entscheidungen zu bekommen, damit Sie die richtigen Dinge verbessern können.

Der Beitrag How you ask is everything – UX Design für Fragebögen erschien zuerst auf Nutzerbrille.