Eine konsistente Methode, um Verhaltensdaten in messbare Ergebnisse zu verwandeln.
Wie ich ein evidenzbasiertes Optimierungs-Framework aufgebaut habe, das Kundenerkenntnisse über mehrere Handelsmarken hinweg in kontinuierliche Produktverbesserungen verwandelte.
Der Ansatz, kurz gefasst
Stakeholder schlugen jede Woche Verbesserungen vor, und keine der Ideen war falsch – genau das war das Problem: Was fehlte, war eine gemeinsame Methode, um zu entscheiden, welche Ideen wirklich eine Investition verdienten, bevor sie gebaut wurden. Ich baute stattdessen eine wiederholbare Schleife: Research lieferte Evidenz, Evidenz erzeugte eine Hypothese, Hypothesen wurden zu Prototypen, und Prototypen wurden zu gemessenen Experimenten, deren Ergebnisse in die nächste Hypothese einflossen.
Die Herausforderung war nie ein Mangel an Ideen. Es war Zuversicht: eine wiederholbare Methode, um zu wissen, welche Ideen die Investition verdienten.
Meine Rolle, kurz gefasst
Ich habe dieses evidenzbasierte Optimierungs-Framework persönlich aufgebaut und geleitet, mit Agentur-Unterstützung entlang des Wegs für tiefere technische und Research-Kapazität. Für die ausführlichere Version auf eine Kachel tippen.
Woran ich gearbeitet habe
Das Framework
Verantwortete die gesamte Schleife persönlich über mehrere Handelsmarken hinweg, nicht nur die einzelne Testausführung.
Research-Methoden
Moderierte Usability-Labs, Guerilla-Research, Kundeninterviews und Beobachtungen im Geschäft, zusammen mit Verhaltensanalytik, Funnel-Analyse sowie A/B- und multivariatem Testing — Analytics zeigte, wo Menschen abbrachen, nur eine Lab-Sitzung zeigte, warum.
Der Research-Hub
Ein lebendiges Archiv dessen, was ausprobiert und gelernt wurde, bewusst archiviert — einschließlich gescheiterter Tests — sodass jede darauffolgende Entscheidung schneller und besser informiert getroffen werden konnte.
Kanalübergreifendes Denken
Eine Änderung an einer mobilen Produktseite sollte sich auch in den Zahlen eines Callcenters und dem Ladenlauf eines Geschäfts zeigen, nicht nur in einem Funnel-Report.
Das Team
Programme LeadMark Jones
Verantwortete das Framework, den Research-Hub und das kanalübergreifende Denken persönlich; holte Unterstützung, wo tiefere technische oder Research-Kapazität benötigt wurde.
Frontend-Entwickler:innen
Baute die einfacheren Tests selbst; holte Entwickler:innen für jene hinzu, die mehr technische Tiefe brauchten, als ein No-Code-Testing-Tool bewältigen konnte.
Data Scientists
Zugang über dieselbe Agentur-Unterstützung, genutzt, um die Evidenzbasis hinter einer Hypothese zu stärken, bevor ein Build in Angriff genommen wurde.
User-Research-Interviewer:innen
Hielten mich nah an jeder Sitzung, ohne dass ich derjenige war, der jede Frage stellte, sodass ich mich darauf konzentrieren konnte, wohin das Gespräch als Nächstes gehen musste.
Synthese-Unterstützung
Verwandelte rohe Evidenz gemeinsam in Entscheidungen, statt sie allein am Schreibtisch zu erarbeiten.
Wirkung, kurz gefasst
Über sechs Jahre hinweg erzeugte das Framework 120 dokumentierte Research- und Optimierungsinitiativen und 42+ benannte, einzeln kodierte Experimente mit veröffentlichten Ergebnissen – keine selektiv berichteten Erfolge. Die Harveys Farbmusterauswahl erzielte +13.2% Conversion und +69.2% Interaktion bei einer Wahrscheinlichkeit von 84.2%, die Kontrollgruppe zu schlagen, mit einem prognostizierten Ertrag von £388,467 über sechs Monate; der Finanzierungsrechner brachte +30.4% Conversion, +31% Transaktionen und +14.1% mehr Finanzierungsanträge; und Shop nach Kategorie erreichte das Doppelte der durchschnittlichen Conversion-Rate der Website und generierte 14.53% des Website-Umsatzes im Zeitraum. Da jedes Ergebnis in die nächste Hypothese einfloss, handelte es sich nicht um isolierte Erfolge, sondern um eine kumulative, wiederholbare Methode, um zu entscheiden, was als Nächstes gebaut werden sollte.
Beiträge
Persönlich aufgebaut und geleitet, mit Agentur-Unterstützung dort, wo tiefere technische oder Research-Kapazität benötigt wurde. Hier die ehrliche Aufschlüsselung — für die ausführlichere Version auf eine Kachel tippen.
Woran ich gearbeitet habe
Das Framework
Verantwortete die gesamte Schleife persönlich über mehrere Handelsmarken hinweg, nicht nur die einzelne Testausführung.
Research-Methoden
Moderierte Usability-Labs, Guerilla-Research, Kundeninterviews und Beobachtungen im Geschäft, zusammen mit Verhaltensanalytik, Funnel-Analyse sowie A/B- und multivariatem Testing — Analytics zeigte, wo Menschen abbrachen, nur eine Lab-Sitzung zeigte, warum.
Der Research-Hub
Ein lebendiges Archiv dessen, was ausprobiert und gelernt wurde, bewusst archiviert — einschließlich gescheiterter Tests — sodass jede darauffolgende Entscheidung schneller und besser informiert getroffen werden konnte.
Kanalübergreifendes Denken
Eine Änderung an einer mobilen Produktseite sollte sich auch in den Zahlen eines Callcenters und dem Ladenlauf eines Geschäfts zeigen, nicht nur in einem Funnel-Report.
Das Team
Programme LeadMark Jones
Verantwortete das Framework, den Research-Hub und das kanalübergreifende Denken persönlich; holte Unterstützung, wo tiefere technische oder Research-Kapazität benötigt wurde.
Frontend-Entwickler:innen
Baute die einfacheren Tests selbst; holte Entwickler:innen für jene hinzu, die mehr technische Tiefe brauchten, als ein No-Code-Testing-Tool bewältigen konnte.
Data Scientists
Zugang über dieselbe Agentur-Unterstützung, genutzt, um die Evidenzbasis hinter einer Hypothese zu stärken, bevor ein Build in Angriff genommen wurde.
User-Research-Interviewer:innen
Hielten mich nah an jeder Sitzung, ohne dass ich derjenige war, der jede Frage stellte, sodass ich mich darauf konzentrieren konnte, wohin das Gespräch als Nächstes gehen musste.
Synthese-Unterstützung
Verwandelte rohe Evidenz gemeinsam in Entscheidungen, statt sie allein am Schreibtisch zu erarbeiten.
Das Problem war nie ein Mangel an Ideen.
Stakeholder schlugen jede Woche Verbesserungen vor. Product wollte das eine. Marketing wollte etwas anderes. Merchandising hatte seine eigene Liste. Keine davon war falsch. Genau das war das Problem. Jede Idee klang im Meeting vernünftig.
Was fehlte, war eine gemeinsame Methode, um fünf Fragen zu beantworten, bevor irgendetwas gebaut wurde: Welche Probleme zählen wirklich? Welche Ideen verdienen eine Investition? Welche Chancen sind kommerziell sinnvoll? Welche Änderungen sollten priorisiert werden? Welche Annahmen müssen noch validiert werden?
Ohne das wurde Priorisierung zu einer Verhandlung, nicht zu einer Entscheidung.
Die Herausforderung war nie ein Mangel an Ideen. Es war Zuversicht: eine wiederholbare Methode, um zu wissen, welche Ideen die Investition verdienten.
Evidenz-Artefakt: der Hypothesen-Backlog. Eine dichte, ungeordnete Warteschlange konkurrierender Vorschläge, bevor ein gemeinsames Framework existierte, um zwischen ihnen zu entscheiden.
Eine Schleife, kontinuierlich durchlaufen.
Research lieferte Evidenz. Evidenz erzeugte eine Hypothese. Hypothesen wurden zu Prototypen. Prototypen wurden zu Experimenten. Experimente lieferten neue Evidenz, die in die nächste Hypothese einfloss.
Das einzelne Experiment war nie der Punkt. Die Schleife war es.
Nicht jede Idee verdiente vor ihrer Veröffentlichung die gleiche Menge an Evidenz. Manche wurden schnell gelöst, korrigiert und veröffentlicht, ohne dass ein formaler Test nötig war. Andere trugen echte Unsicherheit in sich, und die durchliefen die vollständige Schleife: Research, Prototyp, Test, Ergebnis. Die Kunst lag darin, zu wissen, welche welche war.
Nicht jede Idee brauchte das gleiche Gewicht an Evidenz. Schnelle Korrekturen und getestete Hypothesen wurden von Anfang an als zwei unterschiedliche Kategorien behandelt.
Wie die Schleife tatsächlich aussah, einmal konkret.
Die folgenden fünf Beats sind ein einziges reales Projekt, die Harveys Farbmusterauswahl, und sie bilden die Schleife oben exakt ab.
Der Plan, formuliert bevor irgendetwas gebaut wurde.
Da wir in moderierter Forschung sahen, dass Nutzer Schwierigkeiten hatten, die Farboptionen auf Harveys' mobiler Produktseite zu ändern, erwarteten wir, dass eine Neupositionierung des Wählers die Navigation erleichtern würde. Wir maßen dies anhand von Conversion-Rate und Interaktion mit den Farbmustern, festgelegt vor dem Start des Tests, nicht im Nachhinein gewählt, um das Ergebnis zu schönen.
Das Problem, gefunden im Labor.
Die Farbmuster befanden sich unterhalb des Produktbilds, in einem separaten, scrollbaren Panel. Ein Farbwechsel aktualisierte das Bild ohne Scrollen nicht sichtbar. Nutzer scrollten nach oben, um zu prüfen, ob es funktioniert hatte, und dann wieder nach unten, um weiter auszuwählen. Eine kleine Reibung, ständig wiederholt, auf der Seite mit dem größten kommerziellen Gewicht der Website.
Günstig gelöst, bevor es teuer wurde.
Eine Skizze, getestet auf Papier mit Kolleg:innen, die keine Designer waren. Dann ein Wireframe, der dieselbe Struktur in einen schnellen Bildschirmprototyp überführte. Jede Stufe kostete fast nichts und schied Ideen aus, die den Kontakt mit einer echten Kundin oder einem echten Kunden nicht überstanden hätten.
Erst, als die Richtung gesichert war.
Vollständiges visuelles Design, noch einmal validiert durch Guerilla-Research an einem funktionierenden Prototyp, bevor auch nur eine Zeile Produktionscode geschrieben wurde. Erst dann ein formaler A/B-Test: eine 50/50-Traffic-Aufteilung zwischen der neu gestalteten Kontrolle und einer mutigeren Variante, durchgeführt mit echten Kund:innen.
Ausgewiesen zu seinem echten, ehrlichen Wert.
+13.2% Anstieg der Conversion-Rate. +69.2% Anstieg der Interaktion. Eine Wahrscheinlichkeit von 84.2%, die Kontrollgruppe zu schlagen, berechnet mit bayesscher Statistik und ohne Aufrundung ausgewiesen. Prognostizierter Ertrag: £388,467 über sechs Monate.
Nicht der Test hat das Problem gefunden. Es war ein Mensch, der beobachtete, wie die Hände eines anderen Menschen zögerten, der das Problem fand. Der Test sagte uns, was es wert war.
Die Erkenntnis kam nicht aus dem Test. Sie kam davon, jemandem beim Scrollen zuzusehen.
Nicht einmal. Wiederholt.
Die Farbmusterauswahl war kein Sonderfall. Es war dieselbe Schleife, angewendet auf ein anderes Problem, über sechs Jahre und zwei Marken hinweg.
Finanzierungsrechner
- Problem
- Nutzer hatten Schwierigkeiten, den Finanzierungsrechner auf mobilen Produktseiten zu verstehen und zu nutzen.
- Evidenz
- Moderierte Forschung deckte Verwirrung an einem konkreten Interaktionspunkt der mobilen Produktseite auf.
- Ansatz
- Der Rechner wurde neu formatiert; gemessen an drei Kennzahlen statt nur einer: Add-to-Basket-Rate, Conversion-Rate und Finanzierungsantragsrate.
- Ergebnis
- +30.4% Conversion-Rate, +31% mehr Transaktionen und +14.1% mehr Finanzierungsanträge
- Erkenntnis
- Drei Ergebnisse statt nur eines zu messen verhinderte, dass ein enger Erfolg ein größeres Problem verdeckte.
Checkout-Optimierung
- Problem
- Der Checkout-Funnel verlor 18% des gesamten Traffics bei den Zahlungsdetails, schlimmer auf Mobilgeräten (22%) als auf dem Desktop (13%).
- Evidenz
- Die drei Zahlungsarten verhielten sich völlig unterschiedlich: 67% der Nutzer wählten Finanzierung, aber PayPal, von nur 6% gewählt, hatte mit 42% den höchsten Abbruch.
- Ansatz
- Die Funnel-Zahlen waren nur eine Quelle unter mehreren. Heuristische Evaluation, Wettbewerbsbenchmarking, Session-Recordings und Service Blueprinting wurden trianguliert, bevor die Verbesserungen über ein Programm aus Labs und A/B-Tests 2017–18 validiert wurden.
- Ergebnis
- +27% Checkout-Conversion, gemessen über einen vierwöchigen A/B-Test vor dem vollständigen Rollout.
- Erkenntnis
- Die Analytik zeigte die Symptome. Die Forschung deckte die Ursachen auf. Der Checkout war nicht ein Problem: Es waren drei unterschiedliche Journeys unter einem Namen.
Suche & Navigation
- Problem
- Kund:innen nutzten die Suche ständig, doch sie war im Header visuell versteckt – eine Reibung für die Personen mit der klarsten Kaufabsicht.
- Evidenz
- Die Sichtbarmachung steigerte Sessions mit Suche und die Weiterleitung zur Produktseite, senkte aber auch die Nutzung des Filialfinders und schwächte die Conversion unter Suchenden ab – ein Zeichen, dass die Variante auch Nutzer mit geringerer Absicht erreichte, nicht nur mehr von denselben.
- Ansatz
- Keine neue Funktion, keine Textänderung: Die Suchleiste selbst blieb unverändert. Sichtbar gemacht und dann über den gesamten Funnel hinweg gemessen, nicht nur die Suchnutzung isoliert.
- Ergebnis
- +54% Anstieg der Sessions mit Suche · +51% Anstieg der Weiterleitung zur Produktseite
- Erkenntnis
- Die größte Einzelzahl des gesamten Programms kam davon, ein bereits vorhandenes Werkzeug sichtbar zu machen, nicht ein neues zu bauen – auch wenn sich dadurch änderte, wer es nutzte, nicht nur wie viele.
SleepPRO-Kiosk
- Problem
- Der vom Lieferanten gebaute Kiosk hatte zu viele Schritte und wenig Orientierung: Tests im Geschäft zeigten, dass Kund:innen ihn nicht ohne Hilfe bedienen konnten.
- Evidenz
- Moderierte Sessions im Geschäft mit echten Kund:innen zeigten genau, wo Menschen hängen blieben, Bildschirm für Bildschirm.
- Ansatz
- Ein einfacherer Ablauf wurde skizziert, ein schneller Bildschirmprototyp gebaut, mit Kolleg:innen getestet, die ihn noch nie gesehen hatten, und iteriert.
- Ergebnis
- +25% Filial-Conversion · +60% Kundennutzung
- Erkenntnis
- Die Standardoberfläche eines Lieferanten ist keine feste Vorgabe. Es ist einfach eine weitere Oberfläche, und sie reagiert auf denselben Prozess wie alles, was intern gebaut wird.
Shop nach Kategorie
- Problem
- Nutzer konnten nicht schnell Produkte finden, die ihren zentralen Bedürfnissen entsprachen.
- Evidenz
- Sowohl die Forschung als auch die Verhaltensdaten deuteten auf dieselbe Reibung hin: Menschen hatten Schwierigkeiten, von der Startseite zur richtigen Produktkategorie zu gelangen.
- Ansatz
- Schnellzugriff-Buttons „Shop nach Kategorie“ wurden der Startseite hinzugefügt, die direkt in die richtige Produktkategorie führten.
- Ergebnis
- Kombinierte Conversion-Rate von 0.45%, doppelt so hoch wie der Website-Durchschnitt von 0.22%, verantwortlich für 14.53% des Website-Umsatzes im Zeitraum (£103,657 von £713,240)
- Erkenntnis
- Obwohl heute weniger Nutzer die Hauptnavigation für die meisten Produkte verwenden, erreichen mehr Menschen über Shop nach Kategorie schneller das Produkt, das sie wollen.
Nichts davon beruhte auf Instinkt.
Jede Hypothese in diesem Programm ging von Evidenz aus, nicht von einer Meinung. Moderierte Usability-Labs, Guerilla-Research, Kundeninterviews, Beobachtung im Geschäft, Umfragen. Verhaltensanalytik, Funnel-Analyse, Exit-Analyse, Gerätesegmentierung, A/B- und multivariate Tests.
Keines von beidem allein genügte. Die Analytik konnte sagen, wo Menschen absprangen. Nur eine Laborsession konnte sagen, warum.
Echtes Verhalten der Befragten, nicht die Zusammenfassung eines Designers : die Aufteilung der Zahlungsmethoden, die die Neugestaltung des Checkouts geprägt hat.
Akt V : Was sich kumuliert
Jedes Experiment wurde zu etwas, das das nächste nutzen konnte.
Ein gescheiterter Test wurde nicht gelöscht. Er wurde archiviert, separat, bewusst: eine eigene Kategorie, nicht unter den Erfolgen verwischt. Über sechs Jahre baute diese Disziplin etwas Größeres auf als jede einzelne Seiten-Neugestaltung: ein lebendiges Register dessen, was bereits versucht, was bereits gelernt und was noch zu klären war.
Das Programm hat nicht nur das Produkt verbessert. Es wurde Jahr für Jahr schneller darin, das Produkt zu verbessern, weil immer weniger neu entdeckt werden musste.
Die Evidenz bewies nicht nur einzelne Entscheidungen. Sie machte jede folgende Entscheidung schneller und besser fundiert.
120 Karten · 13 Listen · 177 Anhänge. Einschließlich eines dauerhaften, dedizierten Archivs für verlorene und nicht eindeutige Tests : aufbewahrt, nicht verworfen.
Die Arbeit, die nie einen Bildschirm berührte.
Die KPI-Taxonomie hinter diesem Programm hörte nicht bei der Website auf. Neben der Online-Conversion wurde jede Initiative auch gegen den telefonischen Vertriebssupport und die Filialfrequenz getaggt – ein Beleg dafür, dass das Denken hier nie auf ein Browserfenster beschränkt war. Von einer Änderung auf einer mobilen Produktseite wurde erwartet, dass sie sich in den Zahlen eines Callcenters und in der Filialfrequenz zeigt, nicht nur in einem Funnel-Report.
Das Research-Hub selbst ist ein Leadership-Artefakt, nicht nur ein Forschungsarchiv. Sich dafür zu entscheiden, ein gemeinsames, strukturiertes, durchsuchbares organisationales Gedächtnis aufzubauen (statt sechs Jahre Forschung in Postfächern und vergessenen Präsentationen verkommen zu lassen), ist selbst eine Entscheidung, die nur jemand trifft, der über die eigenen Liefergegenstände hinausdenkt.
Reflexion
Was sich wirklich kumulierte.
Die größte Lektion war nicht, dass ein einzelnes Experiment die Conversion verbessert hat. Es war, dass evidenzbasierte Entscheidungsfindung sich kumuliert : Jedes Ergebnis schärft die nächste Hypothese, jeder Misserfolg wird archiviert statt wiederholt.
Research, Prototyping und Experimentieren waren hier nie getrennte Disziplinen. Es war dasselbe Instrument, eingesetzt in unterschiedlichen Geschwindigkeiten : Eine Skizze reduziert Unsicherheit für die Kosten eines Nachmittags ; ein Guerilla-Test für die Kosten eines Tages ; ein A/B-Test für die Kosten eines Builds.
Durch den Aufbau eines wiederholbaren Frameworks hörte Optimierung auf, eine Abfolge von Projekten zu sein, und wurde zu einer organisationalen Fähigkeit. Das gilt bis heute für meine Arbeitsweise.
Sehen Sie dieselbe Disziplin, angewendet auf ein längeres Discovery-Programm mit höherem Einsatz.