A/B-Testing: Bedeutung, Ablauf und Auswertung von Split-Tests

A/B-Test Bedeutung: so funktioniert ein Split-Test

Das Prinzip stammt aus der Forschung: Eine Kontrollgruppe sieht das Original, eine Testgruppe sieht die Veränderung, und die Zuteilung übernimmt der Zufall. Weil beide Gruppen gleichzeitig laufen, wirken Wochentag, Wetter, Saison oder eine laufende Rabattaktion auf beide gleich. Ein Unterschied im Ergebnis lässt sich deshalb mit guter Sicherheit der einen Änderung zuordnen – genau das kann ein Vorher-nachher-Vergleich nicht leisten.

Wichtig ist die feste Zuordnung: Wer einmal Variante B gesehen hat, sollte beim nächsten Besuch wieder B bekommen. Sonst vermischen sich die Gruppen, und das Ergebnis verwässert. Testwerkzeuge merken sich die Zuteilung deshalb meist über ein Cookie, den lokalen Speicher oder eine Nutzer-ID.

Was Sie per A/B-Testing prüfen können – und was nicht

Getestet wird alles, was eine Entscheidung des Besuchers beeinflusst. Die größten Unterschiede entstehen meist nicht bei Farben, sondern beim Inhalt: beim Angebot, bei der Reihenfolge der Argumente, bei den Einwänden, die eine Seite beantwortet oder eben nicht.

• Landingpages: Überschrift, Nutzenversprechen, Aufbau, Länge, Platzierung von Bewertungen und Preisen.
• Formulare: Zahl der Felder, Pflichtangaben, mehrstufig gegen einstufig, Text auf dem Absende-Button.
• Anzeigen: Werbeplattformen bieten dafür eigene Testfunktionen. Getestet werden Texte, Bilder, Zielgruppen oder Gebotsstrategien.
• E-Mails: Betreffzeile, Absendername, Versandzeitpunkt, Aufbau des Inhalts.
• Shops: Produktbilder, Versandhinweise, Darstellung von Rabatten, Schritte im Checkout.

A/B-Test durchführen: der Ablauf in sieben Schritten

1. Problem finden: In der Webanalyse, in Heatmaps, Sitzungsaufzeichnungen oder Kundengesprächen zeigt sich, wo Besucher hängen bleiben – etwa eine auffällige Bounce Rate auf einer Landingpage.
2. Hypothese formulieren: Was genau ändern Sie, warum sollte das wirken, und woran messen Sie es?
3. Primäre Kennzahl festlegen: eine einzige Zielgröße, meist die Conversion Rate für Anfragen oder Käufe. Nebenkennzahlen dienen nur zur Kontrolle.
4. Stichprobe und Laufzeit berechnen: Vor dem Start klären, wie viele Besucher pro Variante nötig sind und wie lange das bei Ihrem Traffic dauert.
5. Variante bauen und prüfen: auf allen Geräten und Browsern testen, Tracking beider Varianten kontrollieren, Ladezeit vergleichen.
6. Test laufen lassen, ohne einzugreifen: Kein vorzeitiges Abbrechen, weil eine Variante nach drei Tagen vorne liegt.
7. Auswerten und dokumentieren: Ergebnis, Konfidenz, Segmente und die Erkenntnis festhalten – auch bei Tests ohne Sieger.

Gute Testhypothesen statt Bauchgefühl

Eine Hypothese macht aus einer Idee eine überprüfbare Aussage. Sie verhindert, dass ein Team wahllos Knöpfe umfärbt und hinterher jedes Ergebnis irgendwie erklärt. Eine brauchbare Struktur lautet: Weil wir X beobachten, vermuten wir, dass Änderung Y bei Zielgruppe Z zu Wirkung W führt. Das messen wir an Kennzahl K.

Priorisieren Sie Ihre Ideen danach, wie viele Besucher die Stelle überhaupt erreichen, wie stark die erwartete Wirkung ist und wie aufwendig die Umsetzung wird. Eine mittelgroße Änderung auf der meistbesuchten Seite schlägt häufig die geniale Idee auf einer Unterseite, die kaum jemand öffnet.

Stichprobengröße und Testdauer berechnen

Die häufigste Enttäuschung beim Split-Testing ist ein Test, der nie zu einem Ergebnis kommen konnte. Wie viele Besucher Sie brauchen, hängt von drei Dingen ab: Ihrer bisherigen Conversion Rate, dem kleinsten Unterschied, den Sie sicher erkennen wollen, und der gewünschten Sicherheit. Für die übliche Kombination aus 95 % Konfidenz und 80 % Teststärke gibt es eine handliche Näherung:

Unabhängig von der Rechnung sollte ein Test mindestens eine, besser zwei volle Wochen laufen und immer in ganzen Wochen enden. Montags verhalten sich Besucher anders als sonntags, und Monatsanfang oder Gehaltstermine können das Kaufverhalten verschieben. Wer am Donnerstag startet und am Dienstag stoppt, misst eine schiefe Woche.

Statistische Signifikanz richtig lesen

Signifikanz beantwortet die Frage, wie wahrscheinlich ein so großer Unterschied wäre, wenn die Änderung in Wahrheit gar nichts bewirkt. Ein p-Wert unter 0,05 bedeutet: Unter dieser Annahme läge die Wahrscheinlichkeit für ein mindestens so deutliches Ergebnis unter 5 %. Er bedeutet nicht, dass Variante B mit 95 % Sicherheit besser ist, und er sagt nichts darüber, wie groß der Vorteil tatsächlich ausfällt.

Schauen Sie deshalb zusätzlich auf das Konfidenzintervall: Es zeigt die Spanne, in der der wahre Unterschied plausibel liegt. Reicht sie von knapp über null bis zu einem großen Plus, ist die Variante wahrscheinlich besser, aber wie viel besser, bleibt offen. Viele Testwerkzeuge rechnen inzwischen bayesianisch und zeigen eine „Gewinnwahrscheinlichkeit“ an. Das ist leichter verständlich, ersetzt aber nicht die Planung der Stichprobe vorab.

Typische Fehler beim A/B-Testing

• Zwischenstände abgreifen: Wer täglich nachschaut und beim ersten signifikanten Wert stoppt, erklärt überdurchschnittlich oft einen Zufallstreffer zum Sieger. Laufzeit vorher festlegen und einhalten.
• Ungleiche Verteilung übersehen: Läuft eine 50:50-Aufteilung und hat eine Variante deutlich mehr Besucher als die andere, stimmt technisch etwas nicht – etwa ein Weiterleitungsfehler oder Bots. Solche Tests sind nicht auswertbar.
• Nachträglich in Segmenten suchen: Irgendein Segment zeigt häufig einen Sieger. Segmente, die Sie interessieren, gehören in die Hypothese, nicht in die Auswertung danach.
• Neuheitseffekt: Wiederkehrende Besucher klicken eine neue Gestaltung anfangs aus Neugier häufiger an. Der Effekt verblasst nach einigen Wochen.
• Nur den ersten Schritt messen: Mehr Formularanfragen sind wenig wert, wenn es vor allem mehr unpassende Anfragen sind. Prüfen Sie die Qualität bis zum Abschluss, zum Beispiel über das CRM.
• Flackern: Clientseitige Testwerkzeuge tauschen Inhalte erst nach dem Laden aus. Blitzt kurz das Original auf, verändert schon das allein das Verhalten und verschlechtert die Ladezeit.
• Mehrere Tests überlappen: Laufen auf derselben Seite zwei Tests gleichzeitig, beeinflussen sie sich gegenseitig. Entweder sauber trennen oder nacheinander testen.

A/B-Testing, SEO und Datenschutz

Suchmaschinen haben grundsätzlich nichts gegen Tests, solange sie und Menschen dieselben Inhalte sehen. Praktisch heißt das: Suchmaschinen keine eigene Variante ausspielen (Cloaking) und den Test nur so lange laufen lassen wie nötig – danach gehört der Sieger fest in die Seite. Bei Split-URL-Tests sollten Canonical-Angabe und Weiterleitungen von einer Fachperson geprüft werden.

Beim Datenschutz ist der kritische Punkt die Speicherung der Zuteilung. Schreibt ein Testwerkzeug dafür Informationen auf das Endgerät, brauchen Sie in aller Regel eine Einwilligung. Die Folge: Getestet werden nur Besucher, die zugestimmt haben, und die Stichprobe wird kleiner. Serverseitige Varianten ohne dauerhafte Kennung können das Problem verkleinern; ob das in Ihrem Fall trägt, sollte Ihr Datenschutzbeauftragter oder Ihre Rechtsberatung prüfen.

Werkzeugfrage: Es gibt spezialisierte Testplattformen, Funktionen in Shop- und CMS-Systemen oder serverseitige Lösungen im eigenen Code. Welche passt, hängt vor allem davon ab, ob Ihre Seite eher statisch ausgeliefert wird und wie viel Einfluss auf die Ladezeit Sie akzeptieren.

A/B-Testing mit Agentur: wann sich Unterstützung lohnt

Die ehrliche Antwort zuerst: Viele kleine und mittlere Websites haben schlicht nicht genug Besucher für belastbare Split-Tests auf Anfrageebene. Dann bringt ein Testprogramm vor allem Kosten und Scheinsicherheit. Sinnvoller sind in dieser Lage eine gründliche Analyse, Nutzerbefragungen und bewährte Verbesserungen, die Sie ohne Test umsetzen – oder Tests an Stellen mit mehr Traffic, etwa in Anzeigen.

Haben Sie genügend Traffic, lohnt sich Unterstützung vor allem bei der Hypothesenarbeit, bei der technisch sauberen Umsetzung ohne Flackern und bei einer Auswertung, die bis zum tatsächlichen Umsatz reicht. Fragen Sie im Erstgespräch nach:

• Wie berechnen Sie vor dem Start, ob ein Test bei meinem Traffic überhaupt aussagekräftig werden kann?
• Woher kommen die Hypothesen – aus Daten und Nutzerforschung oder aus einer Ideenliste?
• Wie stellen Sie sicher, dass Tracking und Einwilligung in beiden Varianten gleich funktionieren?
• Wird auch die Qualität der Anfragen ausgewertet oder nur deren Anzahl?

In unserer Conversion-Optimierung beginnen wir deshalb mit der Frage, ob sich Testen bei Ihnen rechnet. Anzeigentests setzen wir als Google Ads Agentur direkt in den Kampagnen um. Einen Überblick über Hebel, die auch ohne Test wirken, finden Sie im Ratgeber Conversion-Rate-Optimierung.

Passende Leistungen

• Conversion-Optimierung (CRO)

  Analyse, Hypothesen und Tests, die sich an Ihrem echten Traffic orientieren – inklusive der Frage, ob Testen sich überhaupt lohnt.

• Google Ads Agentur

  Anzeigentexte, Zielseiten und Gebotsstrategien sauber gegeneinander prüfen.

Häufige Fragen zum A/B-Testing