Test polega na skierowaniu strumienia tego samego odsetka ruchu na każdą z badanych wersji danej strony oraz porównaniu ich współczynników konwersji, czyli procentowej wielkości określającej stosunek użytkowników strony, którzy wykonali pożądaną akcję (np. zakup) do wszystkich użytkowników danej strony. Na tej podstawie można wnioskować o wpływie badanej zmiennej na to, jak strona spełnia postawiony przed nią cel.
Czas trwania testu A/B nie jest określony, jednak ze statystycznego punktu widzenia test powinien być zakończony wtedy, gdy uzyskane różnice współczynników konwersji są istotne statystycznie. Aby upewnić się, czy uzyskane wyniki są istotne statystycznie, zwykle stosuje się test proporcji.
Historia Podobnie jak w większości dziedzin, ustalenie daty pojawienia się nowej metody jest trudne, ze względu na jej ciągłą ewolucję. Znaczącej zmiany dokonano, gdy zamiast wykonywać testy na podstawie informacji z populacji przeprowadzono test na samych próbkach. Pomysł ten wykorzystał w 1908 r. William Sealy Gosset (pseudonim Student), podając funkcję zależną od wyników pomiarów a niezależną od .