Welche Hypothesen über einen Text einer Prüfung standhalten

Eine Hypothese beginnt mit einem möglichen Einwand

„Die Produktseite verbessern“ benennt kein widerlegbares Ergebnis. Für eine Prüfung müssen Änderung, erwartetes Ergebnis, Bedingungen und das Kriterium genannt werden, bei dem die Hypothese zu überdenken ist. Nicht jede Prüfung endet mit einem einfachen Ja oder Nein; die Daten können unzureichend sein.

Eine analytische Hypothese für die T500 lautet: Für Fragen zum Ergebnis bei +20 °C und bei Frost reicht dieselbe Zahl, ohne die Temperaturbedingungen zu unterscheiden. Das Dossier enthält nur einen Versuch bei +20 °C: 450 ml eines Getränks mit anfangs 95 °C blieben sechs Stunden im geschlossenen Becher; die Endtemperatur betrug mindestens 60 °C. Eine gemeinsame Antwort, die bei Frost dasselbe Ergebnis verspricht, ist nicht belegt.

Das Dossier erlaubt nicht, das Messergebnis auf beide Bedingungen zu übertragen. Das begründet die Unterscheidung der Fragen, beweist aber nicht, dass beide nicht in einem Abschnitt behandelt werden könnten. Ebenso wenig bestimmt es die Zahl der Winterkäufer oder die Nachfrage nach einem eigenen Modell. Die Grenzen einer Frage werden anhand der nötigen Angaben und Antwortbedingungen geprüft, nicht anhand der Verkäufe über die Produktseite.

Eine andere Hypothese muss separat formuliert werden: „Im gewählten Vergleich können Teilnehmende mit Fassung B häufiger ohne Hinweis +20 °C nennen und richtig angeben, dass das Ergebnis bei Frost unbekannt ist.“ Dafür braucht es Beobachtungen beim Lesen der Seite. Das bloße Vorkommen von +20 °C in der Auszeichnung beantwortet die Frage nicht. Ein Gegenbeispiel kann eine allgemeingültige Deutung widerlegen; ein einzelner Lesefehler widerlegt noch keine Verbesserung im Durchschnitt.

Drei Prüfarten erlauben unterschiedliche Schlussfolgerungen

Bei einer analytischen Prüfung wird die Deutung mit Ausgangsformulierung und Kontext verglichen. Alternativen bleiben erhalten; gesucht werden Fälle, in denen die vorgeschlagene Gruppierung nicht mehr funktioniert. Die Prüfung der Suchintention kann ein Gespräch mit einem Nutzer erfordern. Häufigkeit allein belegt keine Absicht.

Eine Verständnisuntersuchung erfasst die gefundene Antwort, ihre Deutung und den Suchweg. Eine Verhaltensuntersuchung beobachtet Handlungen in einem festgelegten Vergleich. „Jetzt ist es verständlicher“ kann helfen, die Oberfläche zu verstehen. Die Aussage ersetzt keine Messung von Käufen; ein Kauf belegt wiederum nicht, dass alle Bedingungen richtig verstanden wurden.

Diese Unterschiede sollten auch im Bericht erhalten bleiben. „Der Prüfer unterschied die Bedingungen in fünf Lehrfällen“ und „Die Conversion stieg“ erfordern verschiedene Daten. Selbst ohne Übertreibungsabsicht kann eine allgemeine Überschrift wie „Hypothese bestätigt“ verdecken, welche Ebene tatsächlich geprüft wurde.

Zuerst prüfen, was die Person gelesen hat

Für die Untersuchung werden zwei korrekte Seiten vorbereitet. In A steht das vollständige Protokoll in einem klar benannten eigenen Abschnitt mit gut sichtbarem Link. In B rückt derselbe Bereich näher an die technischen Daten. Beide Fassungen trennen die nominellen 500 ml von den 450 ml des Versuchs. Keine enthält das uneingeschränkte Versprechen „sechs Stunden bei Frost“.

Die Aufgabe lautet: „Bei welcher Lufttemperatur wurde der Becher geprüft, und was sagt dieses Ergebnis über einen Spaziergang bei Frost aus?“ Eine erfolgreiche Antwort muss +20 °C und die Grenze der Angaben zu Frost nennen. Die Suchzeit wird zusammen mit der Richtigkeit bewertet. Eine schnell gefundene falsche Antwort erfüllt die Aufgabe nicht.

Beobachtet werden muss, was die Person öffnet, auf welche Wörter sie sich stützt und wo sie einen Schluss zieht. Eine lenkende Frage wie „Haben Sie die Einschränkung neben der Temperatur bemerkt?“ verändert die Prüfung selbst. Beim Vergleich von Varianten muss die Präsentation Lerneffekte berücksichtigen: Nach dem ersten Protokoll kennen die Teilnehmenden die Bedingungen bereits und finden sie im zweiten möglicherweise aus dem Gedächtnis.

Eine kleine gezielt ausgewählte Gruppe hilft, Schwierigkeiten zu entdecken und die nächste Korrektur abzuleiten. Sie liefert nicht automatisch einen genauen Anteil aller Käufer. Um Fehlerhäufigkeiten oder Variantenunterschiede zu schätzen, braucht es eine passende Auswahl, einen ausreichenden Umfang und einen geeigneten Vergleichsplan. Auch „Ich würde es kaufen“ bleibt eine erklärte Absicht.

Angenommen, der Bereich wird nun gefunden, aber die Teilnehmenden halten 450 ml weiterhin für das nominelle Fassungsvermögen. Dann hat die Prüfung ein anderes Problem aufgedeckt: die Anordnung und Beschriftung der Parameter. Ein positives Zeitergebnis darf nicht auf das Inhaltsverständnis übertragen werden.

Einen Verhaltensvergleich planen

Geht es um den Kauf, ist ein anderer Plan nötig. Eine eigene Verhaltenshypothese lautet: Fassung B erhöht den Anteil der Nutzer, die die T500 kaufen. Die Grundlagen zufälliger Vergleiche, die Zuteilungseinheit und die Planung der Teststärke behandeln Kohavi, Henne und Sommerfield. Für unsere beiden Seiten lässt sich folgendes Lehrdesign wählen.

Teilnehmende Nutzer werden beim ersten geeigneten Besuch der Produktseite zufällig A oder B zugeteilt und bleiben in dieser Gruppe. Die Teilnahmebedingungen stehen vor der Darstellung fest. Beide Gruppen werden gleichzeitig beobachtet. Für Preis, Verfügbarkeit und übrige Seitenelemente gelten dieselben Regeln; Änderungen und Störungen werden protokolliert.

Als Hauptkennzahl eignet sich etwa der Anteil zugeteilter Nutzer, die innerhalb eines vorab gewählten Beobachtungsfensters eine T500 kaufen. Damit wird eine Änderung der Kaufhäufigkeit geprüft. Eine Hypothese über Fehlentscheidungen braucht eine eigene, mit der Fehlerursache verknüpfte Kennzahl; Kauf oder Nichtkauf bestimmen diese Ursache nicht. Festzuhalten ist, was als Kauf zählt und wie wiederholte Besuche zusammengeführt werden. Der Nenner darf nicht auf „Personen, die den Bereich gelesen haben“ geändert werden, wenn der neue Aufbau selbst das Lesen beeinflusst: Dann würde nach einem vom Variantenwechsel abhängigen Ereignis ausgewählt.

Zur Kontrolle des Experiments werden die dargestellte Variante und das tatsächliche Laden des Bereichs erfasst. Wird B bei einem Teil der zugeteilten Nutzer nicht geladen, dürfen diese Personen nicht einfach entfernt werden, während die ursprüngliche Interpretation bestehen bleibt. Die Ursache muss untersucht und die weiterhin zulässigen Schlussfolgerungen müssen bewertet werden.

Guardrail-Kennzahlen werden vorab ausgewählt, etwa Ladefehler sowie Stornierungen oder Rücksendungen mit einem geeigneten Beobachtungszeitraum. Für jede wird der Nenner festgelegt. Vor dem Start stehen das Kauffenster ab Gruppenzuteilung und der Beobachtungszeitraum für Rücksendungen ab Bestellung oder Lieferung fest. Die Endauswertung erfolgt erst, wenn der nötige Zeitraum auch für die zuletzt aufgenommenen Teilnehmenden abgeschlossen ist. Die Rücksendequote unter Bestellungen ist diagnostisch hilfreich; da sich auch die Zusammensetzung der Käufer ändern kann, darf sie nicht automatisch als Effekt auf alle zugeteilten Nutzer gelesen werden.

Werden beim Verschieben des Bereichs zugleich die Überschrift umgeschrieben und das Foto ersetzt, vergleicht das Experiment dieses Gesamtpaket. Ohne zusätzlichen Vergleich darf das Ergebnis nicht einer einzelnen Bedingungszeile zugeschrieben werden.

Vorab festlegen, welches Ergebnis erkennbar sein soll

Vor dem Start muss ein praktisch relevanter Effekt bestimmt und ein ausreichender Beobachtungsumfang geplant werden. Dieser hängt von der Ausgangshäufigkeit des Ereignisses, der Streuung, der Analyseeinheit und dem gewählten Verfahren ab. Eine allgemeingültige Besucherzahl oder Dauer für jede Produktseite gibt es nicht; die Umfangsplanung benötigt Ausgangsannahmen.

Wenig Traffic kann genügen, um ein großes Verständnisproblem aufzudecken, ohne eine kleine Kaufveränderung erkennbar zu machen. Es handelt sich um verschiedene Aufgaben mit unterschiedlichen Datenanforderungen. Ist der nötige Umfang nicht erreichbar, sollte die Forschungsfrage enger gefasst werden, statt eine kleine Stichprobe aus Bequemlichkeit für ausreichend zu erklären.

In der Endauswertung sind sowohl die geschätzte Differenz als auch ihre Unsicherheit wichtig, etwa ausgedrückt durch ein Konfidenzintervall. Ein fehlender statistisch signifikanter Unterschied beweist keinen Nulleffekt. Ein breites Intervall kann sowohl eine nützliche Verbesserung als auch eine erhebliche Verschlechterung mit den Daten vereinbar lassen. Für „Die Varianten sind gleich“ wären ein passender Plan und vorab festgelegte Grenzen eines praktisch unerheblichen Unterschieds erforderlich.

Auch eine kleine, zuverlässig erkennbare Veränderung rechtfertigt nicht zwangsläufig die Einführung. Sie wird mit Kosten, Guardrail-Kennzahlen und den Zielen der Aufgabe abgeglichen. Diese Kriterien sollten feststehen, bevor ein bevorzugtes Ergebnis ausgewählt wird.

Einen Test beobachten und einen Gewinner wählen sind verschiedene Handlungen

Microsoft ExP empfiehlt, Kennzahlen im Verlauf des Experiments zu überwachen, um Störungen und Verschlechterungen zu erkennen. Dabei wird geprüft, ob das tatsächliche Gruppenverhältnis dem geplanten entspricht. Eine unerwartete Abweichung heißt SRM — Sample Ratio Mismatch. Ihre Ursache muss vor der Effektinterpretation geklärt werden. Gewöhnliche zufällige Größenunterschiede der Gruppen bedeuten für sich genommen noch kein SRM.

Wiederholte Signifikanzprüfungen und ein vorzeitiger Abbruch erfordern ein statistisches Verfahren, das diese Entscheidungsweise berücksichtigt. Auf den ersten günstigen Wert in einem gewöhnlichen Bericht zu warten und dann abzubrechen, ist nicht dasselbe wie eine vorab gewählte sequenzielle Analyse.

Für die fiktive T500 ergeben sich daraus zwei getrennte Regeln: Was geschieht bei einem Darstellungsfehler oder einer erheblichen Verschlechterung, und wann wird das Hauptergebnis bewertet? Historische Testdauern anderer Unternehmen ersetzen unseren Plan nicht. Die Überwachung hilft, die Untersuchung zu steuern, erlaubt aber keinen willkürlich gewählten Berichtszeitpunkt.

Was nach der Prüfung festgehalten werden sollte

Der Bericht muss den Vergleich rekonstruierbar machen: Seitenversionen, Teilnehmende und Aufnahmebedingungen, Zuteilungsverfahren, Hauptkennzahl, Guardrail-Kennzahlen, Beobachtungsfenster, Planabweichungen und Ergebnisunsicherheit. Erfolglose oder unklare Ergebnisse bleiben ebenso erhalten wie erfolgreiche.

Das Verschieben der Bedingungen kann die Zahl der Käufe senken, wenn manche Besucher zuvor ein ungeprüftes Ergebnis bei Frost erwarteten. Dieses Szenario benötigt Daten, zeigt aber, warum höhere Conversion nicht das einzig denkbare Qualitätszeichen ist. Das Verhalten muss mit der Aufgabe und der Art der Fehlentscheidungen abgeglichen werden.

„Nach der Aktualisierung stiegen die Verkäufe“ hilft, Hypothesen zu entwickeln. Die Beobachtung schließt Änderungen bei Preis, Werbung, Saison oder Besucherzusammensetzung nicht aus. Erlaubt die Plattform keinen korrekten Zufallsvergleich, muss diese Einschränkung im Fazit erhalten bleiben. Die Bezeichnung A/B beseitigt sie nicht.

Aus unserem Lehrplan könnten drei unabhängige Einträge entstehen: ob die Gruppierung der Fragen begründet ist, wie Teilnehmende die Antwort fanden und verstanden und was sich im Fassungsvergleich über das Verhalten feststellen ließ. Bei der Übertragung auf einen Katalog muss die Anwendbarkeit geprüft werden; die Bedingungen, unter denen das Ergebnis zustande kam, müssen erhalten bleiben.