Mystery Research erlebt seit Jahren einen ungebrochenen Boom.
Und das zu Recht.

Der Mystery Boom – Chancen und Grenzen des Mystery ResearchVon Dr. Nicolai Egloff, Jörg Kohlbacher


Abstract

Mystery Research erlebt seit Jahren einen ungebrochenen Boom. Und das zu Recht, denn kaum eine Methode eignet sich so gut zur Überprüfung interner Prozesse des Auftraggebers und zum Benchmark mit Wettbewerbern. Allzu oft tritt Mystery Research aber mit dem Konstrukt des „Kunden als Tester“ auch in Konkurrenz zu Kundenzufriedenheitsstudien. Die eigentlichen Stärken des Mystery Research kommen dadurch oft gar nicht mehr zum Tragen. Der Artikel zeigt die wesentlichen Unterschiede der beiden Methoden auf und plädiert für einen theoretisch fundierten, aber zugleich pragmatischen Umgang mit den Chancen und Grenzen des Mystery Research.

 

Die späte Blüte eines alten Verfahrens

Nur wenige Methoden der Marktforschung erlebten in den letzten Jahren einen ähnlichen Boom wie Mystery Research. Diese Entwicklung ist überraschend, weil das Verfahren – im Gegensatz zu den ebenfalls boomenden Online-Methoden – alles andere als neu ist.

Obgleich die historischen Wurzeln nicht ganz zweifelsfrei zu verorten sind, scheint der Ursprung der Methode in den USA der 40er Jahre des letzten Jahrhunderts zu liegen. Dort wurde „Mystery“ zur Überprüfung der Ehrlichkeit von Bankangestellten bei Bareinzahlungen eingesetzt.

Der Neuigkeitscharakter des Verfahrens kann den Erfolg der Methode also kaum erklären. Noch nicht einmal der Begriff der »Renaissance« scheint angemessen, denn es handelt es sich aktuell keineswegs um eine »Wiedergeburt«, sondern eher um eine »späte Blüte« des Mystery Research. Das Verfahren war unserer Beobachtung nach noch nie so beliebt wie derzeit!

Doch was auch immer die wirtschaftlichen, sozialen oder psychologischen Triebkräfte des kometenhaften Aufstiegs der Mystery Methoden in der Marktforschung sein mögen, erscheint es uns an der Zeit, sich intensiver mit einigen methodischen Aspekten des Instruments zu befassen.

 

Das Märchen vom Test-Kunden

Ebenso populär wir irreführend hält sich die Behauptung, Mystery Käufer seien »Test-Kunden«. Was aber ist ein Test-Kunde? Bevor wir uns diesem Konstrukt nähern, sollten wir zunächst versuchen zu klären, was überhaupt einen Kunden ausmacht.

Sichtet man hierzu die Literatur stößt im Wesentlichen auf zwei verschiedene Konstruktionen:

  • Zum ersten die sehr formale Definition der DIN ISO, die besagt, dass ein Kunde ein »Empfänger eines vom Lieferanten bereitgestellten Produkts« ist, »der im Rahmen einer Vertragssituation auch als ›Auftraggeber‹ bezeichnet werden kann«.
  • Zum anderen die eher sozial- und wirtschaftswissenschaftlich ausgerichtete Definition, nach der ein Kunde »jeder Mensch« ist, »der Interesse an den Produkten oder Dienstleistungen eines Unternehmens oder an deren potenzieller Nutzung hat - sowohl in Bezug auf Erwerb bzw. Kauf, wie auch in Bezug auf deren Vermarktung.«


Während im ersten Fall der Kunde zum reinen Produkt- oder Leistungsempfänger wird, die Kundenbeziehung also auf die Ebene des objektiv sachlich beobachtbaren (Produktempfang) reduziert wird, führt die sozialwissenschaftliche Definition zusätzlich die Komponente des »Interesses» ein. Interesse meint dabei den inneren Antrieb, der notwendige Voraussetzung dafür ist, dass der »Produkttransfer« überhaupt stattfinden kann. Die Motivation des Kunden lässt sich nur individuell verorten und ist daher notwendig subjektiv geprägt. Alles, was der Kunde über ein Unternehmen denkt und sagt, basiert auf einer sehr subjektiven Mischung von individueller Kundenhistorie und psychischer Disposition.

Mystery Tester dagegen gehen mit einer fingierten Geschichte in ein Outlet, haben ein klares Drehbuch mit Anweisungen, was Sie zu tun oder zu sagen haben und sollen sich möglichst genau merken, was Sie erleben. Darüber hinaus sollen Mystery Tester möglichst ihre gesamten inneren Befindlichkeiten ausblenden, um sauber, akkurat und präzise zu beobachten. In diesem Sinne sind Mystery Tester keine Test- sondern eher Anti-Kunden.

Wieso aber hält sich das Missverständnis der »Test-Kunden« so hartnäckig? Vermutlich liegt der Grund darin, dass der Mystery Tester den Anschein eines richtigen Kunden wecken muss. Die äußere Hülle des Testers muss an einen echten Kunden erinnern, der Rest ist Schauspiel!

  • Mystery Tester sind im Unterschied zu »Kunden« nicht der Gegenstand der Forschung, sondern – überspitzt formuliert – das Instrument der Forschung. Beim Mystery Shopping (oder Calling) steht nicht der Kunde im Mittelpunkt (sonst würden wir diesen selbst fragen), sondern die internen Prozesse des Auftraggebers.
  • Mystery Research ist also keine Fortsetzung der Kundenzufriedenheitsforschung mit anderen Mitteln, sondern untersucht die Servicequalität an den Schnittstellen zum Kunden gerade im Gegenteil allein aus dem Blickwinkel des Unternehmens.

Mystery Shopper (das Gleiche gilt für Caller, Mailer etc.) sind Prozess-Tester, die zwar im Auftrag der Kundenzufriedenheit unterwegs sind, aber nicht stellvertretend für die Kunden, sondern für die Qualitätsmanager des Auftraggebers.

 

Ein wichtiger Unterschied

Bei näherer Betrachtung lassen sich eine ganze Reihe weiterer Unterschiede zwischen den Verfahren herausarbeiten.

Mystery Research wird methodisch in der Regel zu den Beobachtungen gezählt. Beim Mystery Shopping handelt es sich um »teilnehmende Beobachtung«. Mystery Calls sind etwas schwieriger zu verorten (hier sind es eher »kognitive Beobachtungen«), bei Mystery Mails versagt die Kategorie Beobachtung dann vollends. Letztere gehen eher in Richtung einer Inhaltsanalyse, was durchaus ein »standesgemäßes« Verfahren der Marktforschung ist.

Versuchen wir ein wenig Licht ins Dunkel zu bringen, indem wir die Unterschiede von Mystery Research und Kundenbefragung von der methodischen Seite her betrachten (wobei wir uns wesentlich auf das Mystery Shopping konzentrieren, da hier die Unterschiede am deutlichsten darstellbar sind).

Während eine Kundenbefragung – wie oben ausgeführt – die rein subjektiven Meinungen und Ansichten des Antwortenden zum Ziel hat, sollen diese beim Mystery Research gerade so weit wie möglich minimiert werden. Im Idealfall ist die Beobachtung komplett intersubjektiv, d.h. wird von unterschiedlichen Personen identisch beschrieben.

Aus einer Vielzahl von wahrnehmungspsychologischen Studien wissen wir, dass dieser Idealfall in der Realität leider selten eintritt (man denke nur an Klassiker wie: welche Farbe hatte das Auto, das Fahrerflucht begangen hat?). Nun haben wir es beim Mystery Shopping darüber hinaus mit einer besonderen Form der Beobachtung, nämlich der teilnehmenden Beobachtung zu tun. Teilnehmend deshalb, weil der Beobachter in die Interaktion eingebunden ist und diese durch sein Verhalten massiv beeinflussen kann.

Darüber hinaus ist es mit der Beobachtung des Testablaufs durch den Mystery Shopper keineswegs getan. Die Interaktion mit dem Berater besteht zum Großteil aus verbaler Kommunikation, die vom Tester zunächst entcodet und dann interpretiert werden muss.

Damit wird klar, dass Mystery Shopping nicht allein qua Methode für sich beanspruchen kann, im Gegensatz zur Kundenbefragung die objektive Sicht der Dinge zu ermitteln. Dafür ist zu viel Subjektivität im Spiel. Folglich muss, um annähernd so etwas wie Intersubjektivität herstellen zu können, nicht nur das Verhalten sondern auch die Wahrnehmung der Tester bestmöglich normiert werden.

 

Eine notwendige Voraussetzung

Diese Normierung der Erhebungssituation im Mystery Research kann unserer Auffassung nach nur durch eine persönliche Schulung aller eingesetzten Tester durch die Projektleitung unter Mitwirkung der Verantwortlichen auf Seiten des Auftraggebers geleistet werden. In der Schulung werden mindestens die folgenden Punkte intensiv durchgesprochen:

a) Das Szenario und damit die Rolle, die der Tester zu »spielen« hat,
b) die Story, mit welcher der Tester auftritt,
c) normierte Antworten der Tester auf Nachfragen des Beraters,
d) die Reaktion des Testers auf Angebote des Beraters,
e) die exakte Bedeutung der Fragestellungen und Antwortkategorien des Beobachtungsprotokolls sowie die zum Verständnis notwendigen Kenntnisse der Produkte des Auftraggebers.

Diese ausführliche Form der persönlichen Schulung kann weder durch telefonische noch durch schriftliche oder online Briefings adäquat ersetzt werden. Ganz und gar abzuraten ist unserer Auffassung nach von der Konstruktion des ungeschulten »naiven Testers«, der »unverdorben« wie ein Kunde die Servicequalität beurteilt. Mit methodisch seriösem Mystery Research hat diese Variante sicher nichts mehr zu tun.

 

Ein unrealistischer Anspruch

Mystery Research erscheint heute vielen Unternehmen als Allzweckwaffe im Kampf um die Steigerung der Servicequalität. Tatsächlich lassen sich die Ergebnisse kaum einer anderen Methode so direkt zur Prozessoptimierung in die Controlling-Kennziffern der Unternehmen übersetzen. Der Wunsch nach aktuellen, detaillierten Kennzahlen für alle Unternehmensprozesse vom Einkauf bis zum Verkauf ist sicherlich einer der Väter des Mystery Booms.

Darüber hinaus stellen die verschiedenen Facetten des Mystery Research eine der wenigen Möglichkeiten dar, sich aus »erster Hand« über den Stand der Servicequalität bei den Wettbewerbern zu informieren (wobei natürlich die entsprechenden standesrechtlichen und gesetzlichen Bestimmungen beachtet werden müssen). Die Attraktivität der Mystery Methoden wird durch die Möglichkeit, nicht nur ein umfassenden internes, sondern zusätzlich ein externes Benchmark der eigenen Performance aufzubauen, weiter erhöht.

Dabei wird aber nicht selten übersehen, dass die Mystery Methoden nicht nur jede Menge Chancen bieten, sondern – wie jede seriöse Methode – auch ihre Grenzen haben. Dass diese Grenzen nicht so deutlich gezogen werden, liegt unseres Erachtens auch an dem oben diskutierten Missverständnis der »realen Testkunden«. Hier wird suggeriert, dass die Testbesuche zugleich die internen Prozesse überprüfen und die Kundenzufriedenheit messen können.

Wir beobachten jedenfalls auf Auftraggeberseite immer häufiger den Wunsch, den Return on Investment der Mystery Projekte zu erhöhen, indem mehr und mehr Elemente der Kundenzufriedenheitsbefragung in die Beobachtungsprotokolle eingebaut werden. Nach dem Motto „Wenn die schon mal da sind“ wird nicht nur eine abgespeckte Version des Store Checks, sondern darüber hinaus noch eine ganze Batterie von Zufriedenheitsstatements im Beobachtungsbogen untergebracht.

Dies kann unserer Meinung nach zu einer doppelten Überforderung der Mystery Projekte führen: inhaltlich sind die Testkäufer, wie wir oben festgestellt haben, keine Kunden im klassischen Sinne, können also auch keine realistische Einschätzung der Kundenzufriedenheit abgeben. Formal führt die Aufnahme von immer mehr Statements in die (bislang schon nicht selten überfrachteten) Beobachtungsbögen zu einem „Overkill“ an geforderter Erinnerungsleistung, die auch absolute Testprofis kaum mehr bewältigen können, ohne die Qualität der Daten in Mitleidenschaft zu ziehen.

 

Ein möglicher Lösungsweg

Droht dem Mystery-Boom in der Zange zwischen Prozessanalyse und Kundenzufriedenheit die Luft auszugehen? Oder lassen sich Wege finden, die Ansprüche auf ein realistisches Maß zu reduzieren, welches die methodischen Grenzen akzeptiert und die Qualität der gewonnenen Informationen stärker gewichtet als die Quantität an erhobenen Daten?

Wir sind überzeugt, dass die Mystery Research Methoden auch in Zukunft eines der wichtigsten Instrumente beratungsorientierter Marktforschung sein werden. Beratungsorientierung heißt für uns immer, zunächst die Anforderungen und Wünsche des Kunden in den Mittelpunkt zu stellen. Ein Insistieren auf der »reinen Lehre« der Marktforschung bringt weder Auftraggeber noch Institute weiter. Daher sind auch unsere oben gemachten Ausführungen nicht so zu verstehen, dass wir die Annäherung von Mystery Research und Kundenzufriedenheitsforschung gänzlich ablehnen würden.

Im Gegenteil plädieren wir dafür, die entsprechenden Erwartungen der Kunden aufzunehmen und produktiv zur Weiterentwicklung der Mystery Methoden umzusetzen. Klar muss sein, dass ein umfassendes Instrumentarium zur Messung der Servicequalität am Point of Sale mindestens drei Bausteine enthalten muss: Kundenbefragungen, Store Checks und Mystery Research.

Kundenbefragungen erheben den aktuellen Stand der Kundensicht auf die Performance des Unternehmens. Wichtig ist, dass hier immer auf den letzten Kontakt des Kunden Bezug genommen wird, um den Einfluss von mittel- bis langfristigen Erfahrungswerten und Images möglichst gering zu halten. Store Checks dienen der detaillierten Erhebung des vertrieblichen Auftritts in den unternehmenseigenen Outlets bzw. der Überprüfung der CI-gerechten Präsentation von Produkten und Dienstleistungen in konzernfremden Shops. Mystery Research zielt wesentlich auf die Einhaltung interner Vorgaben zur Beratung und Betreuung an den Schnittstellen zum Kunden.

Kundenbefragungen und Store Checks können durch Mystery Research nicht ersetzt werden, allerdings können Elemente beider Methoden in Mystery Projekten genutzt werden. Dies gilt vor allem für Projekte bei denen auch Wettbewerber besucht werden. Hier ist es aus nahe liegenden Gründen kaum möglich umfassende Kundenbefragungen und Store Checks durchzuführen. Zudem sind die internen Prozessvorgaben der Wettbewerber nicht oder nicht vollständig bekannt, so dass die Kennziffern für das Benchmark nicht – wie bei internen Benchmarks üblich – detailliert den Prozessen nachgebaut werden können. Stattdessen sind zusammenfassende Statements der Tester notwendig, die auch subjektive Elemente der Beurteilung des Kundenservice enthalten.

Basis des Benchmarks ist die Konstruktion eines geeigneten Index, der der Ergebnisse komprimiert und auf einen Blick vergleichbar macht. Aber auch hier stellt sich wieder die Herausforderung, einen Index zu entwickeln, der sowohl die interne als auch die externe Kompatibilität gewährleisten kann. Wird der Index allein an der Soll-Ist Überprüfung der unternehmensinternen Prozessvorgaben ausgerichtet (was aus Sicht der Methode sinnvoll ist), besteht die Gefahr, dass die Wettbewerber im externen Benchmark an Prozessen gemessen werden, die sie selbst weder definiert noch als Ziel vorgegeben haben. Ein Index, der sowohl interne als auch externe Vergleiche der Zielerreichungen erlaubt, muss daher notwendig ein Kompromiss sein, der auch subjektive Elemente enthält. Nur dadurch kann man die unangenehme Situation vermeiden, dass beim Auftraggeber zwei unterschiedliche Indexwerte kommuniziert werden, die sich im ungünstigen Fall auch noch widersprechen.

Wie so oft im Leben (und in der Marktforschung) nützt es also nichts, das Dogma der reinen Lehre – in diesem Fall des Mystery Research als objektive Prozessüberprüfung – hoch zu halten und sich dadurch immer weiter von den Anforderungen und Bedürfnissen der Auftraggeber zu entfernen. Wir plädieren für ein gesundes Maß an Pragmatismus, das sich in der Aufnahme von basalen Items der Kundenzufriedenheitsforschung in unseren Mystery Studien niederschlägt. Wir sind überzeugt, dass der Mystery Boom vor allem in der Gestalt eines solchen »Hybrid Mystery« noch eine lange Blütezeit erleben wird.

Zurück zur Übersicht

 

Abdruck mit Genehmigung des Deutschen Fachverlages, planung & analyse, Mainzer Landstrasse 251, 60326 Frankfurt am Main, Telefon 069-7595-2019, Fax 069-7595-2017, redaktion@planung-analyse.de, www.planung-analyse.de

Weitere Informationen