Christian Dössel

|

Olympiamilano – Herausforderungen an zeitgemäße Marktforschung

Archive for the ‘Methode’ Category

Matrixfragen – Online eigentlich Unsinn!!!

Montag, November 16th, 2009

Da habe ich schon ein paar Mal auf Surveytainment hingewiesen und wie man es nicht macht. Finde ich wichtig, dass man sich drum kümmert.

Aber nur mit dem Finger drauf zeigen greift auch zu kurz.

Auf Research Voice, einem Portal für „Fach“-Diskussionen (fast könnte man sagen: nach dem Vorbild des Foyers ;-) ), wurde Anfang des Monats eine interessante Diskussion gestartet. Es geht insgesamt um die Matrixfrage an sich und ihre Umsetzung in Online-Befragungen.

Klar ist, dass lange Matrixfragen, als Radio-Button programmiert, unendlich abtörnend sind und langweilig in der Beantwortung sind. Manchmal ist es sogar so schlimm, dass die Skala beim Scrollen nicht mehr zu sehen ist. Sowas macht keinen Spaß, entspricht nicht dem derzeitigen Internet-Nutzungsverhalten und valide Ergebnisse aus solchen Fragen zu ziehen, ist mehr als bedenklich.

Neuere Ansätze setzen auf neuere Technologien. Hier sind Slider, Drag&Drop Mechaniken o.ä. zu nennen. Der große Vorteil ist, dass diese Ausfülltechniken dem natürlichen Internetnutzungsverhalten eher entsprechen, allerdings geht das Ganze auf Kosten der Befragungslänge und somit – mittelbar – auch auf Kosten der Ergebnisqualität.

Dazu zwei Punkte von mir:

1) Es ist die CATI-Historie, die diese Frageform so prominent gemacht hat. Wie auch in den Kommentaren an o.g. Stelle zu lesen ist, ist die Frageform der Matrix in einer persönlich betreuten Befragungssituation eigentlich problemlos, denn die Interviewer können die Skala immer wieder vorlesen und den Befragten so „an die Hand“ nehmen.
Somit ist CATI kein „Selbstausfüller-Modus“, wie dies beim Online-Interview der Fall ist. Wenn man das nicht berücksichtigt, macht die Transformation der Matrixfrage aus der CATI- in die in die Online-Forschung keinen Sinn, auch neue Technologie verwaltet hier nur Mängel.

2) Der einzige Möglichkeit, um wirklich Surveytainment zu leben und in Fragebögen zu integrieren ist der Verzicht auf unsinnig lange Matrixfragen, die kein Mensch wirklich ernsthaft beantworten will, egal ab als Tabelle oder per Sortieren via Drag & Drop von Items in unterschiedliche Körbe.
Die Lösung liegt im Design von einfachen Fragen für einfache Fragebögen.

Und gerade da komme ich wieder zum Punkt Consulting.

Das ist natürlich schwer, einfache Fragen zu formulieren. Nicht nur inhaltlich sondern vor allem vor dem Hintergrund einer Kundenerwartung, dass man möglichst viel Fragen in einen Fragebogen zu packen hat, um möglichst viel zu erfahren.

Das Ende vom Lied, ist, dass man über viele Bereiche relativ wenig weiß. Besser wäre es über weniger Bereiche viel zu wissen. Und da kann eine einfache Gestaltung von Fragen in einfachen Fragebögen helfen – online und offline…
Research Consultants mit starkem Rückgrat sind gefragt, die den Kunden ihre (unsinnigen) Ansprüche an Komplexität ausreden und hinberaten zu mehr Anwendungsfreundlichkeit, egal ob in der Erhebung oder in der Implementierung von Marktforschung.

Garys Social Media Count. Sowas finde ich ja richtig gut…

Montag, Oktober 5th, 2009

Erstens passt es ins aktuelle Thema, das mir schon seit Wochen durch den Kopf spukt (und leider noch nicht wirklich zu Papier gebracht wurde). Und zweitens finde ich es von der Darstellung super, denn folgendes steckt dahinter. Finde eine einheitlich gemeinsame Berichtsbasis (hier:Zeit) und alles ist miteinander vergleichbar. Das schafft Vertrauen, das schafft Erkenntnis.

Und, wie gesagt, es passt in die Zeit…

Es geht wieder los – Branchentreff auf der Marktforschungsmesse in München

Mittwoch, September 9th, 2009

Also dann, am 28.10. und am 29.10.2009 findet in München erneut die Marktforschungsmesse statt.

Im Moment gibt es nich nicht viel zu lesen, wer wann über was reden wird. Scheint so, als ob das Thema Innovation im Vordergrund steht (so ein Vierzeiler im aktuellen R&R Heft “Innovationsforschung – Goldgrube oder Groschengrab?”).
Typisches Krisenthema.
Würde gerne mal wissen, ob auch darüber diskutiert wird, ob und wie sich die Branche – speziell n Deutschland – selbst innoviert. Da schaut man dann sicher in fragende Gesichter. Mal sehen, vielleicht traue ich mich ja zu fragen ;-)

Ich werde die Vorbereitung genau beobachten und mir erlauben die Vorträge im Vorfeld mal zu beurteilen nach einem neuen, sehr subjektiven Konzpept. Und zwar gehe ich der Fragestellung nach, welche Erwartungen der Vortrag bei mit weckt und was ich glaube, was dann dort tatsächlich passiert. Das erlaube ich mir einfach mal, denn schließlich war ich bisher jedes Mal auf der MaFo-Messe, jedes Mal als Besucher.

Man darf gespannt sein…

Who needs surveytainment, as long as there is Toluna?

Donnerstag, September 3rd, 2009

surveytainment

Marktforschung lässt zu wünschen übrig, weil…

Donnerstag, Juli 23rd, 2009

Nur, damit man mich richtig versteht…

Ich bin ein glühender Verfechter für den Einsatz von Marktforschung, sie bestimmt einen großen Teil meines Lebens und wird dies aus in Zukunft tun. Sie ist mit dafür verantwortlich, dass ich das mache, was ich mache; dass ich da bin, wo ich bin…

Daher kommt sicher auch der Schmerz, den ich von Zeit zu Zeit spüre, wenn Marktforschung unter ihren Möglichkeiten bleibt. Und je länger ich darüber nachdenke, desto mehr fällt mir auf, dass das immer dann der Fall ist, wenn Marktforschungsergebnisse nicht die Rolle spielen, die sie eigentlich einnehmen könnten, wenn… Ja, wenn.

Nun gibt es grundsätzlich zwei Positionen dazu. Die erste (die ich – bei allem Respekt – unakzeptabel finde) lautet „Das ist halt so!“. Ich habe gerade vor kurzem in einem Telefonat genau das gehört. Auf der andern Seite regt sich Widerstand (btw. was ist eigentlich aus der BVM Fachtagung aus dem Oktober 2008 zu dem Thema geworden?). Zu Recht wie ich meine.

Um nicht in einem subjektiven Vergleich nach dem Motto „Aber ich finde, dass….“ zu enden, braucht es Argumente. Und die will ich liefern. Inspiriert durch einen Vortrag, den ich vor kurzen gehört habe und um ein bisschen Struktur in das gefühlte Chaos zu bringen, hier ein paar Fragen, die ich vorstellen möchte.
Diese Sammlung ist weder vollständig noch kann sie immer alle Gründe bis ins Detail erklären. Das muss (und vielleicht sollte) sie auch gar nicht, geht es mir doch viel eher darum (endlich) eine Diskussion loszutreten anstatt mit erhobenem Zeigefinger Missstände anzuprangern.

So, und nun fang ich mal an:

„Handlungsempfehlungen der MaFo müssen unbedingt ausreichend erlebbar sein. Ansonsten stellt sich beim Kunden – im Moment schneller denn je – eine Value-for-Money Überlegung ein.“

„Fehlende Qualität der Handlungsempfehlungen reduziert MaFo beim Kunden auf mehr oder weniger intelligente Erhebungstechniken“

„Die Reduktion der MaFo auf Datenerhebung ohne Bedeutungszuweisung führt zum vermehrten Einsatz von DIY-MaFo-Tools bei (potenziellen) Kunden“

„Der Verlust bzw. der Verzicht auf Deutungshoheit der Information führt dazu, dass der Kunde diese Lücke mit anderen Partnern füllt, vor allem Beratungsunternehmen oder Werbe- bzw. Strategie-Agenturen“

Jede der Thesen wird in der Folge (nach meinem Urlaub) nach und nach näher beschrieben und detailliert. Und, klar, Lösungen werden auch angeboten, denn es gibt sie. Dieser Zustand ist nicht unveränderbar, versprochen…

Was fangen wir an mit “Surveytainment”?

Donnerstag, Juli 23rd, 2009

In einem dieser Interviews auf marktforschung,de, dieses Mal mit Dr. Lorenz Gräf, seines Zeichens Vorstand der Globalpark AG, fiel in einem mehr oder weniger wichtigen Zusammenhang der Begriff „Surveytainment“.

Nach einem kurzen Tweet (und nachdem ich endlich ein großes Projekt abgeschlossen habe) wird es Zeit ein wenig kritischer mit dem Begriff umzugehen.

Zuerst einmal ist es immer wieder bemerkenswert, mit welcher Selbstverständlichkeit Begriffe genutzt werden, so als würde jeder wissen, worüber gesprochen wird (und wer es nicht weiß, guckt sich verschämt um und fragt sich, ob er die richtigen Zeitschriften und Blogs liest). So auch beim Thema „Surveytainment“.
Dem, was hinter „Surveytainment“ steckt bzw. stecken sollte, muss schon mehr Beachtung geschenkt werden. Mal eben so nebenbei einen Begriff einzuführen, der nicht klar definiert ist, greift da zu kurz bzw. hilft erst mal nur den Buzzword-Liebhabern unter uns.

Warum Surveytainment, bzw. was kann Surveytainment sein?

Surveytainment, so wie an oben genannter Stelle eingeführt, bezieht sich in erster Linie auf die mehr oder weniger unterhaltsame Gestaltung von Onlineumfragen im Allgemeinen und Onlinefragebögen im Speziellen durch die Möglichkeiten, die mit neuen Darstellungsformaten entstehen, (AJAX, Flash, …). Da lange Ladezeiten durch die weite Verbreitung mit hohen Bandbreiten kaum noch Probleme für die adäquate Auslieferung von Online-Befragungen darstellen, sind große Teile der Online-Grundgesamtheit mit diesen (neuen) Formaten zu erreichen.

Doch worum geht es beim Einsatz der reichhaltigen Formate wirklich? Die Begegnung der Herausforderung von Befragungsmüdigkeit, wie von Dr. Gräf angeführt, ist dabei nur eine Anwendungsform, und für mich ehrlich gesagt die unwichtigste. Befragungsmüdigkeit ist nicht allein durch neue, reichhaltigere Formate zu lösen (das ist aber auch ein anderes Thema und dazu vielleicht in Zukunft mal ein Extra-Posting, verdient hätte es das).

Was mich am meisten stört ist der Teil „tainment“ in dem Begriff. Ich glaube nicht, dass es eine Qualität von Befragungen ist, die Teilnehmer adäquat unterhalten zu müssen. Und auch nicht jede technische Innovation ist für jeden Befragungsteilnehmer gleich wichtig. Schließlich wäre es darüber hinaus mehr als kritisch, wenn eine zufriedenstellende Datenqualität ausschließlich über den Einsatz von „unterhaltsamen“ Gestaltungselementen realisiert werden kann.

Warum dann also Surveytainment?

Meiner Meinung nach geht es vor allem darum dem sich veränderndem Internetnutzungsverhalten mit entsprechend gestalteten Online-Fragebögen zu begegnen. Denn ist es nicht so, dass z.B. eine 10×5 Radiobutton-Matrix in nahezu keiner Anwendung und keinem Webangebot mehr anzutreffen ist außer in Onlinebefragungen? Und in meiner Wahrnehmung finden sich auf jedem einzelnen einigermaßen erfolgreichen Webangebot mehr Designelemente als in den letzten zehn von mir beantworteten Online-Fragebögen zusammen.

Insofern ist es durchaus sinnvoll (auch) Befragungsinstrumente anzupassen an das zeitgemäße Internetnutzungsverhalten.

Aber für wen eigentlich?

Aber wie fast jedes Verhalten unterscheidet sich auch das Internetnutzungsverhalten und damit die Ansprüche an die Darreichungsform von Web-Inhalten (wie z.B. Fragebögen) nach unterschiedlichen Merkmalen. In einem sehr beachtenswerten Experiment von DMS Research aus dem Mai dieses Jahres, wurden diese Merkmale klar herausgestellt.
Diejenigen Teilnehmer, die als Fragebogen gerne (und freiwillig) neue Rich-Medi-Formate wählen, sind soziodemografisch nicht eindeutig bestimmbar. Es zeigt sich lediglich (statistisch nicht signifikant) eine leichte Tendenz hin zu jüngeren Teilnehmern in der freiwilligen Rich-Media-Variante.
Dafür zeigt sich, dass diese Gruppe sowohl einen deutlich hedonistisch-offensiveren Lebensstil pflegt und eine höhere Ausstattung an Consumer Electronics aufweist. Zudem zeigen sie ein anderes, intensiveres Internetnutzungsverhalten (gemessen über die Zeit pro Woche). Die Ergebnisse deuten darauf hin, dass es sich bei denjenigen, die eher die Rich-Media-Variante gewählt haben, um eine Zielgruppe mit Tendenzen zu „Early-Adoptern“ handelt, deren intensiveres Nutzungsverhalten im web sich auch auf ein gesteigertes Bedürfnis nach intensiverem Content bei Online-Befragungen niederschlägt. Und schaut man sich Beispiele an (z.B. hier ), dann hat das ja auch in Form kaum mehr was mit den gewöhnliche Checkboxen und Radiobutton-Matrizen gemeinsam.

Soweit, so gut. Dann aber die Ergebnisse zu den Merkmalen, die sich mit Internet-Marktforschung beschäftigen:
Fast alle Liebhaber der Rich-Media Variante sind Online-Mafo-Spezialisten und nehmen häufiger an kleinen und großen Befragungen teil, qualitativ und quantitativ und sind in mehreren Online-Access Panels registriert und aktiv. Dieses Ergebnis stellt den Befund der „Befragungsmüdigkeit“ auf eine neue Basis. Denn es ist ja anscheinend viel mehr so, dass die regelmäßigen Befragungsteilnehmer müde geworden sind und sich nach neuen Formen der Befragung sehnen. Ich sehe weder eine allgemeine Ablehnung gegenüber Online- Befragungen noch eine dringende Notwendigkeit jedem ein interaktives Flash-Survey zur Verfügung stelle zu müssen, um weiterhin zufriedenstellende Responseraten zu generieren. Das wir übrigens auch durch das Experiment gestützt. Von den 828 Teilnehmern, die sich aussuchen konnten, welche Version des Fragebogens sie nutzen wollen, entschieden sich 74% für die Variante „Plain“ und damit für gewöhnliche Befragungsvarianten.

Und was nun?

Der Einsatz von neuen Darreichungsformen von Online-Fragebögen über technische hat sehr viele Vorteile. Immer dann, wenn es darum geht Untersuchungsdesigns, die vorher nur offline durchzuführen waren auch online durchführen zu können (z.B. Formatresearchs im Bereich Print), steht ihr Wert au0er Frage.
Ebenso zeigen die Experiment-Ergebnisse von DMS, dass sich Tendenzen des monotonen Antwortverhaltens bei Matrixfragen durch den Einsatz von Drag&Drop oder anderen interaktiven Mechanismen minimieren lassen. Beides führt zu einer deutlichen Aufwertung der Online-Marktforschung.
Dennoch bleibt offen, welche Rolle dabei „Surveytainment“ spielen soll. Im Moment sind vor allem Langzeit-Panelisten mit hoher Affinität und Ausstattung zum Thema Internet und Technologie diejenigen, die durch solche Rich-Media-Designs angesprochen werden. Bei allen anderen Zielgruppen ist stets zu fragen, welchen Einfluss der Einsatz diese neuen Designs im Hinblick auf Fragebogen-Usability auf der einen und Beeinflussung des Untersuchungsgegenstands auf der anderen Seite haben. Beide Fragen sind bisher noch weitestgehend ungeklärt.

Hier würde ich mir mehr experimentelle Forschung der Anbieter wünschen, damit die Argumente für oder gegen den Einsatz der Formate transparent sind. Wahrscheinlich gibt es diese sogar, nur ich kenne sie nicht. In diesem Fall bin ich um Zusendung dankbar (christian(at)olympiamilano.de).

Review of “How to Hire & Manage Market Research Agencies” by Kathryn Korostoff

Donnerstag, Juli 23rd, 2009

One of my first twitter contacts was Kathryn from Research Rockstar. And when she asked the twittersphere who is willing to read her book I was very keen on reading it, the title still sounds really good to me.
After two weeks I finished reading and I have to say that I really like ist (especially the consultant-related parts of it). So I decided to write a short review (which I also published at amazon).

Here it is…

This book is an excellent piece of work and a powerful resource – for everyone who is somehow concerned with market researcher – agency or client side. Many well-recommended market research books go into detail describing different types of methodology for gathering and analyzing market research data. Unlike this schoolbook-like kind of market research literature Kathryn Korostoff stresses the most important point of every market research project: how to make the results live in the world of the client’s organization.
In this book you will find a well planned journey through a market research project. But Kathryn pauses where there is usually danger to lose control over who is going to use the research results when and how. In detail these “areas of losing control” are: setting appropriate research goals, defining expectations and criteria of project success, checking client’s research receptivity, leveraging existing research, (re)inventing presentation designs.
This book is not only for market research rookies and not only for client side researchers. Moreover senior researchers and research consultants will find a lot of inspiring thoughts. Highly recommended!

Was nun, Marktforschung…

Donnerstag, Juli 23rd, 2009

methodology isn’t King, relevance is King!!!