A/B test porovnává dvě varianty stránky u náhodně rozdělených návštěvníků. Smyslem není najít nejhezčí barvu tlačítka, ale ověřit konkrétní změnu, která může zlepšit důležitý výsledek. Aby bylo možné závěr použít, musí mít obě skupiny srovnatelné podmínky, stejnou definici cíle a dostatek pozorování. Malá firma často nemá provoz pro rychlé statistické rozhodnutí. I tehdy se dá testovat poctivě: jasně pojmenovat hypotézu a neprohlásit náhodný výkyv za vítězství.
Nejprve rozhodněte, co změna řeší
Na produktové stránce lidé často opouštějí výběr varianty. Hypotéza může znít: „Když vedle velikosti zobrazíme konkrétní rozměr, méně lidí bude potřebovat pomoc a více jich koupí správnou variantu.“ Varianta A je současná stránka, B má přehlednější rozměry. Před spuštěním určete primární metriku, například dokončený nákup vhodné varianty. Sledujte také vratky a dotazy; vyšší nákupní poměr s více chybnými objednávkami by nebyl dobrý výsledek.
Nezačínejte testem pěti změn najednou. Pokud v B současně změníte cenu, fotografii, text i dopravu, nepoznáte, co výsledek způsobilo. Některé komplexní návrhy lze testovat jako celek, ale pak závěr zní „tato verze jako celek fungovala lépe“, nikoli „pomohla oranžová barva“. Pro první test malé firmy vybírejte překážku s věcným důvodem a odpovídajícím důkazem z dotazů nebo pozorování.
Podmínky, které drží porovnání poctivé
| Kontrola | Proč na ní záleží | Co zkontrolovat |
|---|---|---|
| Náhodné rozdělení | Skupiny mají být podobné | Poměr návštěv a zdroje provozu |
| Stálá varianta | Člověk nemá přeskakovat mezi A a B | Chování při opakované návštěvě |
| Stejná metrika | Čísla musí znamenat totéž | Nákup, vratka, období |
| Plánovaná délka | Výkyv jednoho dne nesmí rozhodnout | Celý běžný cyklus týdne či sezóny |
U e-shopu se často liší pracovní dny a víkendy. Test spuštěný jen od pondělí do středy nemusí reprezentovat běžný týden. Sledujte také technické chyby, rychlost stránky a rozdíl mezi mobilem a desktopem. Pokud varianta B načítá velkou fotografii a zpomalí mobilní stránku, měříte kombinaci obsahu a výkonu. Zaznamenejte to místo přisuzování výsledku samotnému textu.
Ukázka výpočtu bez falešné jistoty
Modelově dostane A 1 000 návštěv a 40 objednávek, tedy 4 %. B má 1 000 návštěv a 48 objednávek, tedy 4,8 %. Rozdíl je 0,8 procentního bodu a relativně 20 % vůči A. Z těchto dvou procent samotných nevíte, zda je rozdíl stabilní. Potřebujete posoudit velikost vzorku, předem zvolenou hranici rozhodnutí, náhodnou variabilitu a ekonomický dopad. Osm objednávek navíc může být důležitých nebo zanedbatelných podle marže a nákladů změny.
Nezastavujte test při prvním příznivém dni. Opakované sledování výsledku a zastavení v momentě, kdy se vám líbí, zvyšuje riziko mylného závěru. Použijete-li nástroj se statistickou metodikou, čtěte přesně jeho pravidla pro průběžné vyhodnocování. Pokud takový nástroj nemáte, předem stanovte délku a množství dat a při malém provozu raději výsledek označte jako orientační. Konkrétní rozhodnutí může podpořit i kvalitativní kontrola, proč lidé variantu používají.
Co udělat, když návštěvnost nestačí
- Opravte zjevné chyby bez testu: nefunkční formulář, chybějící cenu nebo nesrozumitelnou variantu.
- Proveďte krátká uživatelská pozorování na skutečném úkolu.
- Vyberte větší změnu s jasným obchodním významem místo drobné úpravy.
- Sledujte delší období a přiznejte, že závěr zůstává nejistý.
- Porovnejte i náklady na realizaci a možnost změnu bezpečně vrátit.
A/B test není povinný rituál. Když je stránka technicky rozbitá, opravte ji. Když existují dvě rozumné podoby řešení a dost provozu, kontrolovaný test pomůže. Když se změnil současně sortiment, cena a zdroj návštěvníků, jednoduché porovnání před/po nebude čistým důkazem. Doplňte výpočet konverzního poměru o kontext a sledujte dopad na zákaznickou zkušenost.
Rozhodnutí po dokončení testu
Sepište předem zvolenou metriku, počet lidí v obou větvích, délku, významné technické potíže a výsledky. Vedle procenta uveďte absolutní počty. Pokud jedna varianta vychází lépe, porovnejte očekávaný přínos s cenou implementace a rizikem zhoršení jiné části cesty. Změna může přivést více poptávek, ale horší kvality. Ptejte se obchodníků a podpory, zda se změnil charakter dotazů, a teprve pak rozhodněte o trvalém nasazení.
Nerozhodný výsledek není prohra. Může znamenat, že rozdíl je malý, vzorek nedostatečný nebo hypotéza nepřesná. Pokud je nová verze jednodušší a levnější na údržbu, můžete ji zvolit i bez prokázaného růstu, ale důvod správně popište. Pokud má změna významné náklady, raději pokračujte v ověřování. Nikdy nepřepište původní cíl až po skončení testu, abyste našli příznivou metriku. Takový postup by z poznání udělal výběr příběhu.
Co ještě může výsledek zkreslit
Prověřte, zda se jedna varianta nezobrazovala častěji lidem z konkrétní kampaně, nové skupině uživatelů nebo na pomalých telefonech. U dlouhého nákupního cyklu může objednávka přijít až po skončení měření. U služby s vysokou cenou je počet finálních zakázek tak malý, že více informací poskytne kombinace rozhovorů a mezikroků. Zapište tyto hranice do výsledku; nepomůže je odstranit pouze další desetinné místo ve výpočtu.
Před testem si napište rozhodovací kartu
Na jednu stránku zapište hypotézu, přesný rozdíl A a B, cílovou skupinu, primární metriku, ochranné metriky a okamžik vyhodnocení. Model: přidání tabulky rozměrů na detail oblečení má snížit počet chybných objednávek. Primárním výsledkem nemusí být jen nákup; sledujte i vratky podle velikosti a dotazy na rozměry. Pokud se vrácení projeví se zpožděním, neuzavírejte test v den posledního nákupu.
Pravidlo předem: co uděláte, když se nákup zvýší, ale vratky také? Bez této dohody si tým může vybrat metriku, která podporuje oblíbený návrh. Zapište i technické podmínky: náhodné rozdělení návštěvníků, stejná cena a dostupnost pro obě varianty a období bez zásadní změny kampaně. U malého provozu raději přiznejte nejistotu a použijte rozhovory či záznamy chyb, než vyhlásíte statistického vítěze z několika objednávek.
Časté otázky
Jak dlouho má A/B test běžet?
Podle návštěvnosti a nákupního cyklu. Předem určete délku i rozhodovací pravidlo a zahrňte běžné rozdíly mezi dny. Univerzální „sedm dní vždy stačí“ neplatí.
Stačí porovnat dvě po sobě jdoucí období?
Může to dát orientační signál, ale počasí, sezóna, reklama i sortiment se mohly změnit. Náhodně souběžně rozdělené varianty tyto vlivy omezují lépe.
Je vítězem verze s více kliknutími?
Jen pokud kliknutí skutečně představují cíl. Pro obchod je často důležitější platná objednávka, marže a menší počet chybných nákupů.
