Kategorie-Archiv: Benchmarking

User Experience mit Fragebögen messen

User Experience messen – das ist Dr. Martin Schrepp’s Thema aus Leidenschaft.

Dr. Martin Schrepp im Profil.

Dr. Martin Schrepp

Martin Schrepp studierte Mathematik & Psychologie an der Universität Heidelberg. 1990 schloss er das Studium mit dem Titel Diplom-Mathematiker ab und begann eine Promotion in Psychologie. Nach Abschluss der Promotion wechselte er zur SAP AG. Dort ist Dr. Martin Schrepp seit 1994 als UX Experte tätig.

Seiner Leidenschaft für das Messen von UX konnte er stets treu bleiben.

Dr. Martin Schrepp hat zusammen mit Theo Held und Bettina Laugwitz den  User Experience Questionnaire (UEQ) entwickelt und betreut die Weiterentwicklung dieses häufig genutzten UX Fragebogens seitdem zusammen mit Andreas Hinderks und Prof. Dr. Jörg Thomaschewski.

In  zahlreichen Forschungs-, Buchbeiträgen und in seinem Buch User Experience mit Fragebögen messen hat Martin Schrepp sein UX Wissen geteilt und damit der UX Community viel Gutes getan.

„User Experience messen“ – Dr. Martin Schrepp im Interview

Im Interview auf Nutzerbrille gibt Dr. Martin Schrepp seine Erfahrungen zu methodischen Fragen rund um das Messen von User Experience weiter.

Ich freue mich sehr heute mit Dir, lieber Martin, über das Thema „User Experience mit Fragebogen messen“ sprechen zu können. Ein Thema das in der UX Community schon seit Jahren ganz eng mit Dir verbunden ist.
Wie entwickelte sich Deine Leidenschaft für dieses Thema?

[Dr. Martin Schrepp] – Bevor ich als UX Designer angefangen habe, hatte ich in Psychologie promoviert. Dort ist ja das Messen und das Erzeugen von geeigneten Messinstrumenten für nicht direkt beobachtbare Konstrukte (z.B. Intelligenz, Persönlichkeitseigenschaften) ein Standardthema. Hier wird naturgemäß auch stark mit Fragebögen gearbeitet.

Als Designer hat mich dann die Frage, wie messe ich eigentlich die Wahrnehmung, die die Nutzer zu den von mir betreuten Produkten haben, stark interessiert. Ich habe dann 2006 mit zwei Kollegen bei SAP den User Experience Questionnaire (UEQ) entwickelt (den kann man sich unter www.ueq-online.org ansehen). Seitdem habe ich eigentlich kontinuierlich an der Weiterentwicklung dieses Fragebogens und anderen Themen im Bereich „UX messen“ gearbeitet und dabei natürlich auch immer versucht mich zu informieren, was andere in dem Bereich so treiben. Daraus und aus eigenen praktischen Erfahrungen mit verschiedenen Fragebögen, ist letztlich auch das Material für das Buch User Experience mit Fragebögen messen entstanden.

Wann hast Du das letzte Mal UX mit einem Fragebogen gemessen – und welche konkreten Erkenntnisse konntest Du für Deine Arbeit gewinnen?

[Dr. Martin Schrepp] – Ich verwende eigentlich regelmäßig Fragebögen, um quantitative Daten zu erhalten, die mir in gewisser Weise zeigen, wo die von mir betreuten Produkte bzgl. UX stehen. Natürlich den UEQ, aber auch den VISAWI oder den SUS. Häufig auch in Verbindung mit klassischen Usability Tests, da sich diese beiden Methoden eigentlich sehr gut ergänzen.

Ein Fragebogen liefert im Gegensatz zu einem Usability Test keine konkreten Hinweise zur Verbesserung eines Produkts, z.B. dass ein bestimmter Begriff auf dem UI nicht gut verständlich ist. Aber er zeigt, welchen subjektiven Eindruck Nutzer von einem Produkt haben, wo man im Vergleich zu anderen Produkten steht (z.B. über einen Benchmark, den die meisten Standardfragebögen anbieten) bzw. in welcher Richtung man ein Produkt weiterentwickeln muss. Hat man z.B. gute Werte für die pragmatischen UX Aspekte (z.B. Effizienz oder Erlernbarkeit), aber schlechte Werte für Stimulation (Fun of Use), ist das ein klares Indiz, in welcher Richtung man für die nächste Version des Produkts arbeiten muss.

UX Fragebögen – Wie wähle ich den richtigen aus?

Es gibt viele kostenlos zugängliche Fragebögen um UX zu messen. Einige versprechen eine ganzheitliche Messung, andere fokussieren auf einzelne Facetten der User Experience. Da fällt die Auswahl oft schwer. Wie gehst Du vor um das richtige Instrument zu finden?

[Dr. Martin Schrepp] – Bevor man einen Fragebogen wählt, sollte man sich immer die Frage stellen, warum man UX überhaupt messen will? Das ist ja kein Selbstzweck, sondern soll letztlich helfen, Produkte erfolgreicher zu machen.

Hier muss man natürlich die UX Aspekte (z.B. Effizienz, Erlernbarkeit, Fun of Use, etc.) messen, die für die Nutzer des Produkts wichtig sind. Schließlich will man wissen, wie zufrieden die Nutzer sind und in welchen Bereichen das Produkt nicht gut ankommt. Welche Aspekte das sind, hängt stark von der Art des Produkts ab. Für eine betriebswirtschaftliche Anwendung sind für die Nutzer andere Aspekte relevant, als für einen Web-Shop oder ein Soziales Netzwerk.

Aber das reicht in der Regel nicht aus. Es gibt hier auch Marketinggesichtspunkte zu berücksichtigen. Wie wird das Produkt beworben und platziert? Braucht man eine originelle Gestaltung, um die Aufmerksamkeit auf das Produkt zu lenken? Wenn ja, sollte man den Aspekt der Originalität auch messen, selbst wenn er für die eigentlichen Nutzer nicht so wichtig sein sollte.

D.h. im ersten Schritt muss man sich überlegen, welche UX Aspekte man messen will, um das Produkt erfolgreicher zu machen. Wenn man ein Produkt und seine Nutzer gut kennt, fällt diese Auswahl meist nicht schwer. Wenn nicht, kann man über Befragungen von Nutzern oder auch Produktverantwortlichen meist zumindest ein grobes Verständnis für die relevanten UX Aspekte erreichen.

Hat man eine solche Liste „relevanter“ UX Aspekte, kann man auf die Suche nach einem passenden Fragebogen gehen. D.h. einem Fragebogen, der möglichst viele der wichtigen UX Aspekte mit einer Skala misst. Wenn man Pech hat, kommt man mit einem einzigen Fragebogen nicht aus, sondern muss mit mehreren arbeiten oder muss sich auf die Messung der wichtigsten UX Aspekte beschränken.

„Man lernt am meisten über UX Fragebögen, wenn man konkret mit ihnen arbeitet.“ (Dr. Martin Schrepp).

Woran kann ich erkennen, ob ein Messinstrument ein gutes ist? Was sind zentrale Qualitätskriterien eines Fragebogens?

[Dr. Martin Schrepp] – Für UX Fragebögen hat man eigentlich ähnliche Qualitätskriterien, wie für andere Arten von Fragebögen oder psychologische Tests. Objektivität (d.h. das Ergebnis sollte unabhängig vom Durchführenden sein, was bei den stark standardisierten UX Fragebögen eigentlich überall erfüllt ist), Reliabilität (Genauigkeit, mit der eine Skala eines Fragebogens misst) und Validität (misst die Skala auch wirklich das, was sie zu messen vorgibt).

Bei Standardfragebögen sind meist einige wissenschaftliche Studien vorhanden, in denen die Autoren des Fragebogens versuchen, genau diese Qualitätskriterien nachzuweisen. Das ist gerade bei der Validität oft nicht ganz einfach, da die zugrundeliegenden UX Konstrukte oft nicht sehr sauber beschrieben und von anderen UX Qualitäten abgegrenzt sind.

Umfragedaten messen und interpretieren!

Wenn ich eine Suchmotivation hab, dann ist Steuerbarkeit und Effizienz für mich sehr wichtig. Bin ich im Stöbermodus, dann mag ich Aktivierung durch Fotos, Animationen und eine abwechslungsreiche Gestaltung, schätze Originalität und Schönheit in der Gestaltung besonders wert.
Wie kann man situative Einflussfaktoren bei der Messung von UX und der Interpretation von gemessenen Daten beachten?

[Dr. Martin Schrepp] – Wenn die Nutzer der Anwendung oder Web-Seite mit beiden Motivationen unterwegs sind, ist die Unterscheidung nicht relevant. Dann spielen einfach alle UX Kriterien aus Such- und Stöbermodus eine Rolle. Schwierig wird es, wenn man Nutzergruppen hat, die jeweils vorwiegend suchen oder stöbern. Die Nutzer beider Gruppen haben dann evtl. sehr unterschiedliche Nutzererlebnisse mit der gleichen Anwendung, was natürlich zu sehr unterschiedlichen Bewertungen führen kann. Wenn man so etwas vermutet, lohnt es sich sicher die Daten des Fragebogens daraufhin zu untersuchen, ob man die Teilnehmer in unterschiedliche Gruppen mit unterschiedlichen Ansichten unterteilen kann.

In solchen Fällen macht es auf jeden Fall Sinn einem UX Fragebogen noch einige zusätzliche Fragen voranzustellen, die das Nutzungsverhalten des Teilnehmers (oder andere Besonderheiten, von denen man annimmt, dass sie die UX Wahrnehmung beeinflussen) erfragen.

UX & Marke – Kann man das trennen?

Lass uns über den Zusammenhang zwischen Marke und UX sprechen. Es gibt Unternehmen deren Markenwerte sind so stark , dass Nutzer UX Schwächen verzeihen. Meine These: Wenn Apple den „Buy-Button“ auf seinem Webshop absichtlich versteckt, dann hat das keinerlei Effekt auf den Abverkauf. Die Shopbesucher suchen einfach so lange, bis sie ihn gefunden haben.
Ausstrahleffekte von der Marke auf die UX treten stets auf.  Wie gehe ich damit um, wenn es beispielsweise darum geht die UX zweier Anwendungen miteinander zu vergleichen?

[Dr. Martin Schrepp] – Sicher gibt es einen Zusammenhang zwischen Markenwahrnehmung und UX. Eine positive Markenwahrnehmung bei einem Konsumenten entsteht ja auch über die Zeit durch positive Erlebnisse mit einem Produkt. D.h. eine positive UX ist einer der Faktoren, die eine positive Markenwahrnehmung erzeugen.

Hat ein Nutzer umgekehrt schon eine positive Wahrnehmung einer Marke, wird er oder sie auch die UX entsprechend einschätzen, d.h. selbst wenn eine neue Produktversion Schwächen hat, wird das bei einer positiven Markenwahrnehmung deutlich milder beurteilt werden, als bei einer negativen Markenwahrnehmung. In der Marktforschung ist ja das Phänomen der evaluativen Konsistenz gut untersucht, d.h. die Tendenz fehlende Informationen zum Produkt aus der allgemeinen Bewertung der Marke abzuleiten (z.B. wenn man für Premiummarken auch eine hohe Produktqualität annimmt und damit einen hohen Preis akzeptiert, was ja nun leider faktisch nicht immer stimmt). Ähnliche Effekte treten natürlich auch bei der Beurteilung eines Produkts mit einem UX Fragebogen auf.

Ein UX Fragebogen misst immer die subjektive Wahrnehmung von UX. D.h. nehmen wir mal an, dass wir zwei Produkte mit einem UX Fragebogen messen. Nehmen wir weiter an, dass die Produkte eigentlich vom Design und von der Interaktion völlig identisch sind. Produkt A ist einer Marke mit sehr positiver Markenwahrnehmung zugeordnet, Produkt B stammt von einer völlig unbekannten Marke. Was werden wir als Ergebnis bekommen?

Vermutlich wird Produkt A im Vergleich der Fragebogenergebnisse besser abschneiden. Logisch, die subjektive Wahrnehmung ist auch besser. Ich denke das Beispiel zeigt sehr schön zwei wichtige Aspekte von UX Fragebögen. Erstens messen diese immer den subjektiven Eindruck von einem Produkt, d.h. man sollte das nicht mit einer wie auch immer definierten „objektiven“ User Experience verwechseln. Zweitens muss man Ergebnisse eines UX Fragebogens immer im Kontext interpretieren. Einfach Daten erheben und platt die Zahlen vergleichen kann unter Umständen ziemlich irreführend sein. Aber das gilt natürlich für jede Messmethode.

Gibt uns abschließend noch 2-3 Tipps für eine weiterführende Lektüre zum Thema „UX mit Fragebögen messen“?

[Dr. Martin Schrepp] – Ich denke am meisten lernt man über UX Fragebögen, wenn man konkret mit ihnen arbeitet. Die meisten Fragebögen sind frei verfügbar und wenn man den nächsten Usability Test macht, kostet es wenig Zeit, einfach mal einen Fragebogen mitlaufen zu lassen. Oder warum nicht mal einen Link zu einem Online-Fragebogen per Mail an bekannte Kunden schicken?

Die im deutschen Sprachraum verbreiteten Fragebögen UEQ, VISAWI, AttrakDiff2 sind auch alle frei verfügbar, d.h. einfach mal ausprobieren, wenn sich eine Gelegenheit bietet.

Vielen Dank, lieber Martin, für diese Einblicke in Deinen Wissensschatz in Sachen „User Experience mit Fragebögen messen“!

Der Beitrag User Experience mit Fragebögen messen erschien zuerst auf Nutzerbrille.

Bequemlichkeit (Convenience) ist UX in Vollkommenheit

Die Zielgröße „Bequemlichkeit“ (Convenience) bekommt immer mehr Bedeutung bei der Gestaltung von Anwendungen. Gerade Shop-Betreiber sind (heraus-)gefordert den gesamten Einkaufsprozess für den Kunden so einfach und annehmlich wie möglich zu gestalten.

„Ist die Zeit die Kostbarste unter allem, so ist die Zeitverschwendung die allergrößte Verschwendung.“
Benjamin Franklin (1706-1790).

Zeit und Energie sinnvoll einzusetzen, das ist für viele Menschen auch heute und ganz sicher auch noch in der Zukunft erstrebenswert. Und das sowohl im Privat- als auch im Berufsleben.

Amazon hat das früh erkannt (Mit Bequemlichkeit punkten). Ein-Klick Bestellung, Dash Button und Amazon Echo sind einige, durchaus aber herausragende Resultate eines stetigen Strebens nach einer hohen Shopping-Convenience. Das gilt auch im B2B Handel (Florian Böhme über Kundenzentrierung in der B2B-Welt).

Vom Einkaufserlebnis über den Service hin zur Convenience

Viele Ziel- und Nutzergruppen möchten die Einkäufe von Verbrauchsgütern möglich schnell und einfach erledigen. Shopping-Convenience wird damit gerade in unserer stressigen Zeit zu einer immer wichtigeren Währung, wenn es darum geht Online-Shops hinsichtlich ihrer Erfolgsaussichten zu bewerten.

Und das gilt für B2C als auch B2B Online-Shops im gleichen Maße.

  • Vereinfachung beispielsweise beim Lebensmitteleinkauf steigert das Wohlbefinden und bietet wertvolle „freie Zeit“, die für Erlebnisse mit Freunden, der Familie oder für Hobbies eingesetzt werden kann.
  • Vereinfachung beim Kauf von Verbrauchs- und Gebrauchsgütern im B2B Handel bietet Kostenvorteile durch eingesparte Arbeitszeit in Einkaufsprozessen und Einkaufsabteilungen.

Wie kann Shopping-Convenience gemessen werden?    

Bequemlichkeit beim Einkauf entsteht immer dann, wenn sowohl wenig Zeit als auch wenig Energie für das Finden, Bestellen und Erhalten von Produkten eingesetzt werden muss.

Schnell und einfach bestellen können – das sind somit die zentralen Säulen einer hohen Shopping-Convenience. Der Weg dahin ist aber alles andere als einfach und schnell zu bewältigen. Er führt über eine gute Bedienbarkeit des Shops, ein breites, tiefes und attraktives Sortiment, nützliche Produktdetailseiten (Bilder, Bewertungen, Beschreibungen), positive Erlebnisse beim Stöbern und einen hervorragenden Service beim Auswählen, Bestellen, „in Besitz nehmen“ und schließlich auch Zurückgeben von Produkten.

Shopping-Convenience ist folglich nicht nur schwer realisierbar, sie ist auch schwer messbar.

Mit ein Grund dafür, dass es derzeit nur wenige Messinstrumente für das Konstrukt Shopping-Convenience gibt. Nur wenige Wissenschaftler (Ausnahme: Ling Jiang, Zhilin Yang & Minjoon Jun – „Measuring consumer perceptions of online shopping convenience“) und Praktiker (Ausnahme: Mailin Schmelter – „Service sells: Welche Bedeutung Services im Handel wirklich zukommt“) haben sich diesem spannenden Thema angenommen.

5 Dimensionen der Shopping-Convenience

Aus meiner Erfahrung bei der Beratung von Shop-Betreibern seit 1997 und den Erkenntnissen vorhandener Studien lassen sich fünf Dimensionen für das Konstrukt Shopping-Convenience ableiten.

  • Access Convenience
    Ein Shop muss bei der Suche nach Produkten gut auffindbar sein.
  • Search Convenience
    Das Sortiment muss einfach zu erkunden sein (und sollte breit und tief sein).
  • Evaluation Convenience
    Die Auswahl geeigneter Artikel muss schnell und zuverlässig erfolgen können.
  • Transaction Convenience
    Die gefundenen Artikel müssen einfach bestellbar sein.
  • Possession/Post Possession Convenience
    Der Erhalt (und die Rückgabe) gekaufter Produkte muss unkompliziert sein.

Zusammen mit meinen Kollegen/-innen bei der eresult GmbH konzipiere ich einen Fragebogen, der je Dimension 3-5 Fragen aufweist und Shopping-Convenience per Umfrage ganzheitlich messbar macht.

Mit dem ConQuest (Convenience Questionnaire) ist es möglich einzelne Shops zu bewerten, ihre Shopping-Convenience im Zeitverlauf zu überwachen, sie mit anderen Shops zu vergleichen und auf Basis von gewonnenen (Benchmarking-)Daten konkrete Tipps und Empfehlungen zur Eroberung der Shopping-Convenience Führerschaft abzuleiten.

Machen Sie mit beim Projekt ConQuest – Shopping-Convenience messen!

Ich würde mich sehr freuen, wenn ich mit diesem Beitrag bei Ihnen Interesse geweckt habe und Sie sich an unserem Vorhaben aktiv beteiligen wollen.

Foto Thorsten Wilhelm

Thorsten Wilhelm

Gerne als Ideen- und Impulsgeber, Sparingspartner und/oder Shop-Betreiber.
Shop-Betreibern bieten wir kostenlose Umfragedaten zur Shopping-Convenience, wenn wir dort unseren Fragebogen ConQuest in einer ersten Version einsetzen dürfen.

 

Sollten Sie Interesse an einer Mitwirkung haben, dann melden Sie sich gerne bei mir.

Der Beitrag Bequemlichkeit (Convenience) ist UX in Vollkommenheit erschien zuerst auf Nutzerbrille.