Ich bin gerade auf einen Online-Fragebogen gestoßen worden, der sich mit dem Thema Energie auseinandersetzt…

U.a. gibt es eine Statementbatterie, dessen Statements teilwese ideal in jede Lehrveranstaltung zum Thema “Methoden und Fragetechniken” passen würden.

Viel Spaß…

“Ich erwarte von den Energieversorgern deutlich mehr Transparenz, damit ich nicht das permanente Gefühl habe abgezockt zu werden.”

“Ich bin augenblicklich über meinen Energieversorger persönlich verärgert und schließe daher einen Wechsel nicht grundsätzlich aus.”

Das ist jetzt schon eine klitze-kleine Weile her, aber ich kann mich darüber immer noch amüsieren…

Ich bekam die nebenstehende Einladung von XING zur Teilnahme an einer Umfrage. Und da mich immer interessiert, was so alles gefragt und erforscht wird, habe ich mitgemacht. Ich wurde auch nicht ausgescreent, war also Zielgruppe und hatte daher auch kein schlechtes Gewissen.

Inhaltlich ging es um eine Befragung zur Bekanntheit, Werbeerinnerung und ein bisschen Image für unterschiedliche Anbieter von Paketdienstleistungen. Die Umfrage hatte eine gute Länge und der Fragebogen war durchschnittlich gestaltet. Eben ein klassischer Standard-Online-Fragebogen. Dachte ich zumindest…

Am Ende angekommen habe ich dann – entgegen meines sonstigen Verhaltens – die Befragung über den “Fenster schließen” Button beenden wollen, mit der Betonung auf “wollen”. Was dann passierte war enorm. Denn die Befragung startete erneut. Sie fing wieder beim Welcome-Screen an. Und was noch bedenklicher war, sie war auch ohne weiteres ein weiteres Mal ausfüllbar. Hätte ich Zeit und Lust gehabt, ich hätte mich als multiple Persönlichkeit versuchen können und den halben Tag gültige Interviews erzeugt. So habe ich es bei zwei Durchläufen belassen, wohl wahrnehmend, dass die Beendigung des zweiten Durchlaufs ebenfalls wieder einen Neustart des Fragebogen provoziert hat… Komisches Studiendesign, und mir völlig unbekannt.

Jetzt frage ich mich natürlich, wie diese Studie ausgewertet wird. Und was wohl der Auftraggeber sagen wird. Ich wäre an seiner Stelle schon mal vorsichtig, wenn die Ausschöpfungsquote genannt wird (von den Ergebnissen ganz zu schweigen).

Fehler passieren, keine Frage. Aber bevor eine Studie live geht, sollte man eben nochmal 1000% Qualität hineinstecken. So jedenfalls gießt man Wasser auf die Mühlen derer, die von unserer Kunst und unserem Können wenig halten.

Schade fand ich, dass mein entsprechender Tweet nicht beantwortet wurde. Gibt es bei XING eigentlich jemanden, der oder die den #XING Hashtag checkt? An meiner Twitter-Reichweite kann es jedenfalls nicht liegen

Ich freue mich immer, wenn eine Studie direkt aus dem Feld kommt und der Datensatz vor mir liegt. Es ist so ähnlich wie mit einem Paket, dass man bekommt, wenn man etwas bestellt und es vorher aber nur vage oder schnell mal eben gesehen hat.

Ein Kribbeln macht sich im Bauch bemerkbar. Was sagen die Daten? Was haben die Befragten geantwortet? Welche Vermutungen und Hypothesen lassen sich stützen oder sogar fast beweisen? Und welche Ideen und Gedanken müssen verworfen werden, weil sie der empirischen Prüfung nicht standhalten? Welche neuen Verknüpfungen ergeben sich aus der Analyse? Welche neuen Erkenntnisse? Und welche Fragen entstehen neu? Welche Geschichte haben die Daten zu erzählen?

Und gabe es Fragen, die trotz aller Sorgfalt und Pre-Testing besser hätten gestellt werden können? (Klar, wie immer gibt es solche, überall).
Es ist jedes Mal ein tolles Gefühl.

Und bei der Präsentation der Ergebnisse wenige Tage oder Wochen später ist dieses Gefühl schon fast weg. Der Datensatz ist mittlerweile ein guter alter Freund geworden, den man in- und auswendig kennt und von dem man glaubt, dass er alle seine Geschichten erzählt hat.
Schade eigentlich…

Da habe ich schon ein paar Mal auf Surveytainment hingewiesen und wie man es nicht macht. Finde ich wichtig, dass man sich drum kümmert.

Aber nur mit dem Finger drauf zeigen greift auch zu kurz.

Auf Research Voice, einem Portal für „Fach“-Diskussionen (fast könnte man sagen: nach dem Vorbild des Foyers ), wurde Anfang des Monats eine interessante Diskussion gestartet. Es geht insgesamt um die Matrixfrage an sich und ihre Umsetzung in Online-Befragungen.

Klar ist, dass lange Matrixfragen, als Radio-Button programmiert, unendlich abtörnend sind und langweilig in der Beantwortung sind. Manchmal ist es sogar so schlimm, dass die Skala beim Scrollen nicht mehr zu sehen ist. Sowas macht keinen Spaß, entspricht nicht dem derzeitigen Internet-Nutzungsverhalten und valide Ergebnisse aus solchen Fragen zu ziehen, ist mehr als bedenklich.

Neuere Ansätze setzen auf neuere Technologien. Hier sind Slider, Drag&Drop Mechaniken o.ä. zu nennen. Der große Vorteil ist, dass diese Ausfülltechniken dem natürlichen Internetnutzungsverhalten eher entsprechen, allerdings geht das Ganze auf Kosten der Befragungslänge und somit – mittelbar – auch auf Kosten der Ergebnisqualität.

Dazu zwei Punkte von mir:

1) Es ist die CATI-Historie, die diese Frageform so prominent gemacht hat. Wie auch in den Kommentaren an o.g. Stelle zu lesen ist, ist die Frageform der Matrix in einer persönlich betreuten Befragungssituation eigentlich problemlos, denn die Interviewer können die Skala immer wieder vorlesen und den Befragten so „an die Hand“ nehmen.
Somit ist CATI kein „Selbstausfüller-Modus“, wie dies beim Online-Interview der Fall ist. Wenn man das nicht berücksichtigt, macht die Transformation der Matrixfrage aus der CATI- in die in die Online-Forschung keinen Sinn, auch neue Technologie verwaltet hier nur Mängel.

2) Der einzige Möglichkeit, um wirklich Surveytainment zu leben und in Fragebögen zu integrieren ist der Verzicht auf unsinnig lange Matrixfragen, die kein Mensch wirklich ernsthaft beantworten will, egal ab als Tabelle oder per Sortieren via Drag & Drop von Items in unterschiedliche Körbe.
Die Lösung liegt im Design von einfachen Fragen für einfache Fragebögen.

Und gerade da komme ich wieder zum Punkt Consulting.

Das ist natürlich schwer, einfache Fragen zu formulieren. Nicht nur inhaltlich sondern vor allem vor dem Hintergrund einer Kundenerwartung, dass man möglichst viel Fragen in einen Fragebogen zu packen hat, um möglichst viel zu erfahren.

Das Ende vom Lied, ist, dass man über viele Bereiche relativ wenig weiß. Besser wäre es über weniger Bereiche viel zu wissen. Und da kann eine einfache Gestaltung von Fragen in einfachen Fragebögen helfen – online und offline…
Research Consultants mit starkem Rückgrat sind gefragt, die den Kunden ihre (unsinnigen) Ansprüche an Komplexität ausreden und hinberaten zu mehr Anwendungsfreundlichkeit, egal ob in der Erhebung oder in der Implementierung von Marktforschung.