Das ist jetzt schon eine klitze-kleine Weile her, aber ich kann mich darüber immer noch amüsieren…

Ich bekam die nebenstehende Einladung von XING zur Teilnahme an einer Umfrage. Und da mich immer interessiert, was so alles gefragt und erforscht wird, habe ich mitgemacht. Ich wurde auch nicht ausgescreent, war also Zielgruppe und hatte daher auch kein schlechtes Gewissen.

Inhaltlich ging es um eine Befragung zur Bekanntheit, Werbeerinnerung und ein bisschen Image für unterschiedliche Anbieter von Paketdienstleistungen. Die Umfrage hatte eine gute Länge und der Fragebogen war durchschnittlich gestaltet. Eben ein klassischer Standard-Online-Fragebogen. Dachte ich zumindest…

Am Ende angekommen habe ich dann – entgegen meines sonstigen Verhaltens – die Befragung über den “Fenster schließen” Button beenden wollen, mit der Betonung auf “wollen”. Was dann passierte war enorm. Denn die Befragung startete erneut. Sie fing wieder beim Welcome-Screen an. Und was noch bedenklicher war, sie war auch ohne weiteres ein weiteres Mal ausfüllbar. Hätte ich Zeit und Lust gehabt, ich hätte mich als multiple Persönlichkeit versuchen können und den halben Tag gültige Interviews erzeugt. So habe ich es bei zwei Durchläufen belassen, wohl wahrnehmend, dass die Beendigung des zweiten Durchlaufs ebenfalls wieder einen Neustart des Fragebogen provoziert hat… Komisches Studiendesign, und mir völlig unbekannt.

Jetzt frage ich mich natürlich, wie diese Studie ausgewertet wird. Und was wohl der Auftraggeber sagen wird. Ich wäre an seiner Stelle schon mal vorsichtig, wenn die Ausschöpfungsquote genannt wird (von den Ergebnissen ganz zu schweigen).

Fehler passieren, keine Frage. Aber bevor eine Studie live geht, sollte man eben nochmal 1000% Qualität hineinstecken. So jedenfalls gießt man Wasser auf die Mühlen derer, die von unserer Kunst und unserem Können wenig halten.

Schade fand ich, dass mein entsprechender Tweet nicht beantwortet wurde. Gibt es bei XING eigentlich jemanden, der oder die den #XING Hashtag checkt? An meiner Twitter-Reichweite kann es jedenfalls nicht liegen

Achtung, jetzt kommt’s!!!

Die Angst, ein Pflegefall zu werden, wächst mit zunehmendem Alter der Befragten…

Und das wird dann auch noch fleißig getwittert.

Ohne Worte…

Ich habe heute um 10:28h eine Einladung zu einer Befragung mit einem – uiii – “Mulitmediateil” bekommen.

Dabei waren Einzelteile der Einladung schon ganz witzig… Also nicht wiklich witztig, denn so baut man m.E. Barrieren gegenüber einer einfachen Teilnahme auf…

1. “Der Fragebogen soll aus methodischen Gründen am Stück und ohne Unterbrechung bearbeitet werden.”
Warum aus methodischen Gründen? Ist das jetzt das Verkaufsargument für Flash-Befragungen?

2. “Damit Sie an dieser Befragung teilnehmen können, muss die neueste Version des Flash Players auf Ihrem Computer installiert sein.”
Ist ja schön und gut, aber wo gäbe es die denn? Oder wie kann ich prüfen, ob ich die nicht schon habe?

3 “Bearbeiten Sie den Fragebogen, wenn möglich, im Internet Explorer.”
Und was passiert, wenn das nicht möglich ist?

Okay, nach den drei Klippen habe ich dann trotzdem geklickt und dann kam das:

Da habe ich schon ein paar Mal auf Surveytainment hingewiesen und wie man es nicht macht. Finde ich wichtig, dass man sich drum kümmert.

Aber nur mit dem Finger drauf zeigen greift auch zu kurz.

Auf Research Voice, einem Portal für „Fach“-Diskussionen (fast könnte man sagen: nach dem Vorbild des Foyers ), wurde Anfang des Monats eine interessante Diskussion gestartet. Es geht insgesamt um die Matrixfrage an sich und ihre Umsetzung in Online-Befragungen.

Klar ist, dass lange Matrixfragen, als Radio-Button programmiert, unendlich abtörnend sind und langweilig in der Beantwortung sind. Manchmal ist es sogar so schlimm, dass die Skala beim Scrollen nicht mehr zu sehen ist. Sowas macht keinen Spaß, entspricht nicht dem derzeitigen Internet-Nutzungsverhalten und valide Ergebnisse aus solchen Fragen zu ziehen, ist mehr als bedenklich.

Neuere Ansätze setzen auf neuere Technologien. Hier sind Slider, Drag&Drop Mechaniken o.ä. zu nennen. Der große Vorteil ist, dass diese Ausfülltechniken dem natürlichen Internetnutzungsverhalten eher entsprechen, allerdings geht das Ganze auf Kosten der Befragungslänge und somit – mittelbar – auch auf Kosten der Ergebnisqualität.

Dazu zwei Punkte von mir:

1) Es ist die CATI-Historie, die diese Frageform so prominent gemacht hat. Wie auch in den Kommentaren an o.g. Stelle zu lesen ist, ist die Frageform der Matrix in einer persönlich betreuten Befragungssituation eigentlich problemlos, denn die Interviewer können die Skala immer wieder vorlesen und den Befragten so „an die Hand“ nehmen.
Somit ist CATI kein „Selbstausfüller-Modus“, wie dies beim Online-Interview der Fall ist. Wenn man das nicht berücksichtigt, macht die Transformation der Matrixfrage aus der CATI- in die in die Online-Forschung keinen Sinn, auch neue Technologie verwaltet hier nur Mängel.

2) Der einzige Möglichkeit, um wirklich Surveytainment zu leben und in Fragebögen zu integrieren ist der Verzicht auf unsinnig lange Matrixfragen, die kein Mensch wirklich ernsthaft beantworten will, egal ab als Tabelle oder per Sortieren via Drag & Drop von Items in unterschiedliche Körbe.
Die Lösung liegt im Design von einfachen Fragen für einfache Fragebögen.

Und gerade da komme ich wieder zum Punkt Consulting.

Das ist natürlich schwer, einfache Fragen zu formulieren. Nicht nur inhaltlich sondern vor allem vor dem Hintergrund einer Kundenerwartung, dass man möglichst viel Fragen in einen Fragebogen zu packen hat, um möglichst viel zu erfahren.

Das Ende vom Lied, ist, dass man über viele Bereiche relativ wenig weiß. Besser wäre es über weniger Bereiche viel zu wissen. Und da kann eine einfache Gestaltung von Fragen in einfachen Fragebögen helfen – online und offline…
Research Consultants mit starkem Rückgrat sind gefragt, die den Kunden ihre (unsinnigen) Ansprüche an Komplexität ausreden und hinberaten zu mehr Anwendungsfreundlichkeit, egal ob in der Erhebung oder in der Implementierung von Marktforschung.

Und das Schlimme ist, das war die letzte Screeningfrage, vorher habe ich noch ein bisschen Conjoint Light durchgemacht. Hat aber für die Teilnahme nicht gereicht.
(Klick zum Vergrößern, und dann mehr Klick zum mehr Vergrößern)