Runner AI
DokumentationAutomatisieren, testen und erstellen

Experimentmessung

Vergleichen Sie Kontroll- und Variationsmetriken, passen Sie den Traffic an, überprüfen Sie KI-Vorschläge und entscheiden Sie, ob Sie Experimentänderungen anwenden möchten.

Die Experimentmessung hilft Ihnen, die Kontrolle mit der aktiven Variation zu vergleichen, bevor Sie eine Entscheidung für den Live-Shop treffen.

Einstiegspfad

Öffnen Sie ein Store-Projekt → MehrExperimente → wählen Sie ein Experiment → Leistung.

Bevor Sie beginnen

  • Bestätigen Sie das Experimentziel und die aktuelle Traffic-Zuweisung.
  • Warten Sie auf eine aussagekräftige Stichprobe, bevor Sie kleine prozentuale Änderungen interpretieren.
  • Überprüfen Sie Variationsänderungen auf der Registerkarte Experimente, bevor Sie Änderungen anwenden in Betracht ziehen.
  • Fragen Sie einen Workspace-Besitzer, bevor Sie eine Aktion durchführen, die Änderungen bereitstellt oder Live-Tests stoppt.

Leistungssteuerelemente und Ergebnisse

Steuerelement oder AbschnittWas passiert oder wird angezeigt
ExperimenteÖffnet Zyklus-Nachrichten, Pläne, Vorschau, Änderungen und ausstehende Anfragen.
LeistungÖffnet Laufzeit, Stichprobengröße, Traffic-Aufteilung, Diagramm und Metriktabelle.
Metrik-SelectorÄndert das Diagramm zu einem unterstützten Maß wie Konversion, Zum Warenkorb hinzufügen, Kasse, Kauf, Bestellwert, Umsatz pro Besucher, Banner-Klicks, Warenkorbabbruch oder Fehlerquote.
Kontroll-/VariationsdiagrammVergleicht die aufgezeichneten Serien für die Original- und Experimentversion.
Traffic-Steuerelement → AktualisierenSpeichert eine neue Experimentzuweisung innerhalb des zulässigen Bereichs.
KI-EinblickZulassenGenehmigt den angezeigten Traffic-Vorschlag.
KI-EinblickAbbrechenVerwirft diesen Vorschlag, ohne ihn zu genehmigen.
Runner AI fragenSendet eine Nachricht im Experiment-Workspace.
Plan anzeigenÖffnet den aktuellen Zyklus-Plan und die To-Do-Liste.

Messung überprüfen

  1. Öffnen Sie Leistung.
  2. Bestätigen Sie Laufzeit, Stichprobengröße und Traffic-Aufteilung, bevor Sie den Trend lesen.
  3. Wählen Sie die Metrik aus, die dem Experimentziel entspricht.
  4. Vergleichen Sie Kontrolle und Variation über denselben Zeitraum.
  5. Überprüfen Sie unterstützende Metriken auf Fehler-, Abbruch- oder Umsatzkompromisse.
  6. Kehren Sie zur Registerkarte Experimente zurück und überprüfen Sie die genauen Änderungen, die die Variation erzeugt haben.
  7. Lesen Sie alle KI-Einblick-Anfragen, bevor Sie eine Traffic-Änderung zulassen.
  8. Wählen Sie, ob Sie weiter messen, den Traffic anpassen, stoppen oder nur nach Überprüfung von Verhalten und Implementierung anwenden möchten.

Hochauswirkungsmaßnahmen

AktionWas der erste Klick bewirktWas Bestätigung bedeutet
Änderungen anwendenÖffnet Experimentänderungen anwenden.Die Bestätigung wendet die Experimentänderungen auf den Haupt-Store-Pfad an und startet die Produktionsbereitstellung. Überprüfen Sie zuerst das benannte Experiment.
BeendenÖffnet Experiment beenden mit Warnungen.Die Bestätigung beendet das aktuelle Experiment. Wenn die Experiment-Autorisierung aktiviert bleibt, kann Runner ein anderes starten; verwenden Sie Projekteinstellungen, wenn Sie Experimente vollständig deaktivieren möchten.
Traffic AktualisierenSendet die neue Zuweisung.Zukünftiger berechtigter Traffic verwendet die aktualisierte Aufteilung nach erfolgreicher Durchführung.

Fehlerbehebung

ZustandBedeutung und nächster Schritt
Keine Zyklus-DatenDie Messung hat noch kein Zyklus-Ergebnis erzeugt. Halten Sie das Experiment laufen oder überprüfen Sie seinen Status.
Metriken können nicht geladen werdenLaden Sie Leistung neu und versuchen Sie es später erneut; wenden Sie keine Änderungen aus fehlenden Daten an.
Flaches oder gemischtes ErgebnisDie verfügbaren Beweise zeigen keine klare Verbesserung. Fahren Sie mit der Messung fort oder stoppen Sie ohne Anwendung.
Traffic-Update fehlgeschlagenDer aktuelle Wert wurde nicht gespeichert. Laden Sie neu, bevor Sie eine gültige Zuweisung erneut versuchen.
Anwendung fehlgeschlagenEs wurde keine erfolgreiche Produktionsanwendung bestätigt. Bewahren Sie den Fehler auf und überprüfen Sie den Live-Shop, bevor Sie es erneut versuchen.

Verwandte Leitfäden