Erstellen und ausführen eines A/B Test

Erstellen eines neuen A/B Tests

1. Klicken Sie auf "Module" in der linken Navigation.

2. Klicken Sie auf "A/B-Test" in der linken Navigation:

3. Um einen oder mehrere A/B-Tests zu erstellen, wählen Sie einen Channel in der oberen Leiste der Seite aus und machen ihn bearbeitbar. Bitte beachten Sie, dass Sie keine A/B-Tests für einen Parent-Channel erstellen können.

4. Wenn der Channel bearbeitbar ist, wird auf der Seite ein Fenster mit dem Text "NEUEN TEST ERSTELLEN +" angezeigt. Klicken Sie auf diese Schaltfläche:

Das folgende Fenster, in dem Sie Ihren A/B-Test konfigurieren, wird angezeigt:

Konfigurieren des A/B-Tests

5. a. Geben Sie dem Test einen Namen.

5. b. Klicken Sie auf "BIS EFFEKT ERREICHT IST" und legen Sie den Zieleffekt fest. (Legen Sie kein Enddatum fest. Mit einem Enddatum würde der Test genau für die angegebene Zeit laufen, aber Sie hätten keine Kontrolle über die statistische Gültigkeit der Ergebnisse. Diese Enddatums-Option sollte nur verwendet werden, wenn die statistische Gültigkeit der Ergebnisse keine Rolle spielt oder wenn Sie die Werte für die Gültigkeit selbst berechnen)

5. c. Legen Sie ein Startdatum und eine Startzeit fest, indem Sie die Option "in 10 Minuten starten" deaktivieren und im Feld "Startet am" ein Startdatum auswählen. Beachten Sie, dass Sie nach Ablauf der Startzeit keine Änderungen an der Suchkonfiguration der B-Variante dieses A/B-Tests mehr vornehmen können. Wir empfehlen Ihnen, Ihren A/B-Test 30 Minuten oder 24 Stunden in der Zukunft beginnen zu lassen, oder einen Wert dazwischen auszuwählen. Hinweis: Obwohl es möglich ist, 2 oder mehr A/B-Tests gleichzeitig laufen zu lassen, empfehlen wir, jeweils nur einen A/B-Test zur Zeit laufen zu lassen.

5. d. Lassen Sie die anderen Werte so wie sie standardmäßig eingestellt sind, da diese Werte für die meisten Fälle ideal sind.

5. e. Klicken Sie auf "TEST ERSTELLEN".

6. Speichern Sie Ihre Änderungen: Klicken Sie auf das Haken-Icon rechts neben dem Auswahlfeld für den Channel im oberen Teil des Fensters. Siehe Beispiel-Screenshot unten.

Aktualisieren Sie dann Ihre Daten, indem Sie auf das schwarze Symbol auf dem gelben Hintergrund klicken:

Konfigurieren der Suchparameter der B-Variante

7. Wählen Sie die Suchkonfiguration der B-Variante Ihres A/B-Tests aus, indem Sie Ihren A/B-Test auswählen. Im Beispiel unten hat er den Namen "a-b-test-changed-thesaurus". Machen Sie den Channel bearbeitbar indem Sie auf das Stiftsymbol klicken. Anstelle des Stiftsymbols erscheint jetzt ein Hakensymbol (siehe Beispiel-Screenshot unten). Nun können Sie viele der Parameter ändern, die in der Benutzeroberfläche verfügbar sind. Eine vollständige Liste der hier verfügbaren Features und Funktionen finden Sie unter diesem Link. Die Änderungen, die sie so vornehmen, werden nur auf die B-Variante angewendet und haben keinen Einfluss auf Ihre normale Suchkonfiguration. Ein Klick auf den Haken übernimmt ihre Änderungen in die ausgewählte B-Variante.

Ändern Sie nicht zu viele Parameter auf einmal. Auf diese Weise erhalten Sie klarere Ergebnisse bei der Analyse Ihrer B-Variante.

Um wieder den Bereich der A/B-Test B-Variante zu verlassen und zur Basisvariante zurückzukehren, wählen Sie in der A/B-Test Auswahl "Basis Konfiguration".

Den A/B-Test starten

8. Starten Sie den A/B-Test wenn Sie alle notwendigen Änderungen an der Konfiguration Ihrer B-Variante vorgenommen haben. Gehen Sie dafür zu "Module", dann "A/B-Tests", wählen Sie Ihren Channel und den A/B-Test aus und machen Sie ihn editierbar. Starten Sie Ihren A/B-Test (Über einen zu frühzeitigen Start brauchen Sie sich keine Sorgen zu machen. Ihr A/B-Test beginnt erst nach der konfigurierten Startzeit), indem Sie auf Ihren A/B-Test in der oberen rechten Ecke auf das Symbol  klicken und "Test aktivieren" wählen. Bestätigen Sie die Konfiguration, indem Sie oben auf der Seite auf das Haken-Symbol neben dem Namen des A/B-Tests klicken (siehe Beispiel-Screenshot unten)

Aktualisieren Sie dann Ihre Daten, indem Sie auf das schwarze Symbol auf dem gelben Hintergrund klicken:

9. Der A/B-Test beginnt zum konfigurierten Startzeitpunkt. Ihr Test ist beendet, wenn Sie am Ende des Titels "beendet" und in der Zeile darunter "Beendet vor ..." in Ihrem Test lesen können (siehe Beispiel-Screenshot unten).

Die Analyse der Testergebnisse

10. Wählen Sie den Channel, der den abgeschlossenen A/B-Test enthält, oben auf der Seite aus. Machen Sie diesen Channel bearbeitbar. Jetzt können Sie die Ergebnisse Ihres A/B-Tests sehen und Ihr A/B-Test wie folgt angezeigt. (siehe Beispiel-Screenshot unten) . Sie sehen die Werte für "Suchanzahl", "Klickrate %", "Conversion %" und "Umsatz/Suche ∅". Für eine detailliertere Beschreibung dieser  Werte klicken Sie auf die Überschrift "Klickrate %", "Conversion %" oder "Umsatz/Suche ∅".

11. Vergleichen Sie die Werte der Basis- und der B-Variante. Die relevanten Werte sind:

 - Die Klickrate in %: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.
 - Die Conversion in %: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.
 - Der Mittelwert des Wertes für die Umsätze pro Suche: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

Im obigen Beispiel-Screenshot ist der Vorteil der Variante A (der Basisvariante), dass in dieser Konfiguration die Werte für Klickrate in %, Conversion in % und der Wert für Umsatz/Suche∅ für die A-Variante höher ist.

Ein detaillierteres Ergebnis erhalten Sie, wenn Sie in der oberen rechten Ecke des A/B-Tests auf "Analyse öffnen" klicken (siehe Screenshot unten):

Das Finalisieren des A/B-Tests

12. Wählen Sie nun den Channel, der den abgeschlossenen A/B-Test enthält, oben auf der Seite aus und machen Sie diesen Channel bearbeitbar, falls das noch nicht geschehen ist.

Nun folgt der letzte Schritt: Klicken Sie auf "VARIANTE "B" ÜBERNEHMEN", wenn Sie die B-Konfiguration auf alle Suchen anwenden möchten. Klicken Sie auf "BEI VARIANTE "A" BELASSEN", wenn Sie die Variante A, die Basisvariante Ihres A/B-Tests, beibehalten möchten. Wählen Sie die Variante mit der besseren Leistung gemäß dem Abschnitt "Die Analyse der Testergebnisse". Falls Sie Zweifel an der Zuverlässigkeit Ihres Tests haben, wählen Sie jetzt die Basiskonfiguration und wiederholen Ihren Test noch einmal mit der selben Konfiguration oder, falls das vorher noch nicht so geschehen ist, mit der Option "BIS EFFEKT ERREICHT IST" anstelle eines festen Enddatums für Ihren Test. Sichern Sie die Änderungen, die Sie an Ihrem Channel vorgenommen haben.