3 Gütekriterien für eine erfolgreiche Online Research Community

3 Gütekriterien für eine erfolgreiche Online Research Community

Online Research Communities haben sich als Methode etabliert, möchte man fast meinen. Zumindest wenn man z.B. dem GRIT-Report glauben darf und die Entwicklungen von einschlägigen Technologieunternehmen wie DubRevelation oder auch kernwert beobachtet.

Doch wie ich schon immer gesagt habe und in allen meinen Community-Projekten auf’s Neue erfahre ist die Technologie nur das eine. Hinzu kommt, dass wir – anders als nach mehreren Jahrzehnten qualitativer Offline-Forschung – noch sehr viel lernen und vor allem verbessern können.

Gerade wenn man eine Online Research Community bzw. MROC abgeschlossen hat, ist es wie bei jedem anderen Projekt auch, sinnvoll zu bewerten, was besonders gut und was vielleicht auch nicht so gut gelaufen ist. Ich habe über die Vielzahl meiner Community-Projekte meine eigenen „Gütekriterien“ entwickelt nach denen ich beurteile, ob es ein gutes oder nicht so gutes Projekt gewesen ist (letzteres kommt natürlich quasi nie vor 😉 ). Nimmt man mal den allgemeinen Projekterfolg heraus, dann sind für mich vor allem die folgenden Kriterien zur Beurteilung anzulegen

1. Zufriedene Teilnehmer
Wir als Researcher leben von der Zufriedenheit und der guten „Experience“, die unsere Teilnehmer bei den Studien erfahren. Es geht um nicht weniger als um das Zurverfügungstellen von Zeit, Gedanken, Meinungen. Stellungnahmen und Kreativität der Menschen, von denen wir meinen, dass sie eine gut gewählte Stichprobe darstellen. Neben der Beantwortung der Erkenntnisinteressen meiner Kunden ist dieses Kriterium daher für mich sehr wichtig. Daneben ist es auch zentral für die intrinsische Motivation der Community-Mitglieder. Denn es ist ja eigentlich sehr einfach: je höher die Zufriedenheit desto besser fühlen sich die TN aufgehoben, desto intrinsischer ist die Motivation, desto gehaltvoller ist die Teilnahme…

Zugegeben, so einfach der Beitrag der Zufriedenheit auf die Ergebnisqualität zu erkennen ist, so schwer ist dieses Kriterium zu messen. Üblicherweise erfolgt am Ende der Community-Laufzeit eine kurze Feedbackrunde nach dem Motto „Wie hat es Euch gefallen? Lob und Tadel?“. Das ist besser als nichts, aber es reicht keinesfalls. Denn dann ist die Studie ja bereits gelaufen und die Möglichkeiten zur Korrektur nicht mehr gegeben. Die Zufriedenheit der Teilnehmer sollte kontinuierlich – am besten an fest definierten „mood check milestones“ – beobachtet werden. Der Ausgestaltung solcher Checks sind keine Grenzen gesetzt. Von einer einfachen skalierten Abfrage an alle TN bis hin zur „quasi-individuellen“ Überprüfung ist vieles möglich. Mein Tipp: Solche Checks machen dann Sinn, wenn sie in den Flow der Community eingearbeitet werden.

2. Geringe Drop-Out Rate
Ich habe schon auf Veranstaltungen gesessen, da haben Leute gesagt, dass ein Drop-Out von 50% ein Erfolg ist. Wenn mir über die Laufzeit der Community die Hälfte der Teilnehmer verloren gehen würden, also nicht mehr oder deutlich seltener und spärlicher an der Community teilnehmen, dann würde mich das ernsthaft beunruhigen. Denn es wäre ein Zeichen dafür, dass etwas mit der Community nicht stimmt, genauer gesagt mit der Motivation der Teilnehmer.
Daher ist es zentral, die Motivation der Teilnehmer an solchen Studien zu verstehen. Jeder TN ist unterschiedlich, was nicht zuletzt auch mit der Persönlichkeit zusammenhängt. Und dann geht es darum, diese Motivation zu bedienen. Das kann mit der Art der Incentivierung passieren, das muss aber auf jeden Fall mit der Ansprache der Moderation gewährleistet werden. Mein Tipp: Damit sollte man sich nicht Zeit lassen sondern von der ersten Sekunde der Community-Laufzeit darauf hinwirken, dass die Motivationen klar verstanden sind und bedient werden.
Wer als TN keine „emotionale Rendite“ aus der Teilnahme zieht, der ist schnell wieder weg. Zu kostbar ist letztendlich doch die Zeit…

3. Ausgewogenheit bei der Anzahl Beiträge pro Community-Mitglied
Letztendlich sollen alle Mitglieder der Community beitragen. Es nützt nichts, wenn offiziell alle aktiviert wurden, sich dann aber recht schnell darstellt, dass die Großzahl der Beiträge sich auf ein paar wenige Schultern verteilt. Um diesem „Wikipedia-Effekt“ zu entgehen, ist eine kontrollierte und individuelle Moderation notwendig. Diese muss nicht zwangsläufig nur auf der Plattform stattfinden. Auch E-Mails an einzelne TN oder Telefonate helfen hier sowohl mehr zu aktivieren als auch zu „bremsen“. Eine Gleichverteilung der Beiträge wird man nie erreichen, das ist auch nicht sinnvoll. Es ist jedoch wichtig auch hier unterschiedliche Formate und Ansprachemodi einzusetzen, um die unterschiedlichen Persönlichkeiten der TN zu stimulieren. Das ist Moderationshandwerk und kann einem von der Plattform oder der Software nicht abgenommen werden. Daher ist es so wichtig, dass die Moderation von erfahrenen qualitativen Moderatoren oder Moderatorinnen übernommen wird.

4 Comments On This Topic
  1. Christian Dössel – Olympiamilano: 5 Tipps für funktionierende B2B Online Research Communities
    3 years ago

    […] im B2C Bereich durchgeführt werden. Hier sind einige Dinge zu beachten, über die ich mich in der Vergangenheit bereits geäußert […]

  2. Thorsten Weber
    3 years ago

    Super Beitrag! Genau der richtige Ansatz!
    Und was sagt uns das? Man benötigt einen guten Feldpartner, der die richtigen und motivierten Teilnehmer/innen einladen kann … 😉

  3. Christian
    3 years ago

    Hallo Florian,

    danke für Deinen Kommentar. Sehe ich ganz genau so…

    Wobei ich aber auch finde, dass Technologie-Dienstleister da sehr schnell aufholen. Die breite Erfahrung, die sie mit einer Vielzahl von Projekten machen, die sie eigentlich nur technologisch durchführen, ist nicht zu verachten. Da kann sich der ein oder andere Researcher egal welcher Prägung manchmal schon eine Scheibe von abschneiden. Letztendlich fehlt Ihnen aber der Einblick in das Projekt, die Objectives etc. etc.

    Und – am allerwichtigsten – der große Teil der Kunden der Technologieunternehmen kommt ja aus der Institutswelt, denen man ja dann gerechtfertigt oder nicht den Forscherhut aufsetzt. Warum sollten dann die Softwareunternehmen mit zu viel „Forschung“ in die Hand beißen, die sie füttert…

  4. Florian Tress
    3 years ago

    Hallo Christian,

    ein guter und wichtiger Beitrag, zumal deine Qualitätskriterien ihre Berechtigung ja auch weit jenseits qualitativer Forschung haben.

    Technik alleine kann das Wissen und die Erfahrung des Forschers nicht ersetzen, sondern bestenfalls unterstützen. Das trifft auf qualitative Forschung zu, aber eben auch auf DIY-Tools oder Big Data (dort hat man ja ganz ähnlich Diskussionen). Und Technik alleine holt auch nicht die Studienteilnehmer ab – das kann man wissen, wenn man z.B. mit Surveytainment oder mobilen Befragungen gearbeitet hat. Auch hier braucht es immer einen Forscher, der die Grenzen der Teilnehmer (er-)kennt und wahrt.

    Vielleicht kann man also überspitzt formulieren: Qualität ist keine Frage der Software-Features, sondern eine Frage der Erfahrung des Forschers!

    Viele Grüße,
    Flo

Kommentar verfassen