Korelacja a wpływ
Dlaczego korelacja myli
Wyobraźmy sobie kampanię, po której sprzedaż rośnie. Kuszące jest przypisanie całego wzrostu kampanii. W tym samym czasie mogły jednak zadziałać inne przyczyny: sezon zakupowy, zniknięcie konkurenta z rynku, zmiana cen, ogólny wzrost popytu w branży.
BENCHMARK Zasada, że korelacja nie dowodzi wpływu, to podstawowe pojęcie metodologii badawczej i analityki marketingowej. Sam fakt, że dwie rzeczy zdarzają się razem, nie mówi, która jest przyczyną — obie mogą mieć wspólne, trzecie źródło.
Dlatego zanim ogłosimy efekt kampanii, sprawdzamy, czy da się go odróżnić od tła. To ten sam problem, który opisujemy przy pomiarze PR według AMEC: liczba sama w sobie nic nie dowodzi, dopóki nie wiadomo, do jakiego poziomu i jakiego porównania się odnosi.
Punkt odniesienia
Punkt odniesienia (baseline) to poziom sprzedaży, ruchu albo innego wskaźnika sprzed rozpoczęcia działania. Bez niego nie da się powiedzieć, czy liczba po kampanii jest wysoka, czy po prostu normalna dla tej pory roku.
Punkt odniesienia to minimum — najprostsze i najtańsze narzędzie z tej listy, ale też najsłabszy dowód wpływu. Warto go mieć zawsze, nawet gdy stosujemy mocniejsze narzędzie, bo pokazuje kontekst, w którym działanie się odbywało.
Grupa kontrolna i test A/B
Test A/B dzieli odbiorców na dwie losowe grupy: jedna widzi działanie, na przykład reklamę albo nowy komunikat, druga nie i pełni rolę grupy kontrolnej. Różnica wyniku między grupami to przybliżenie rzeczywistego wpływu, bo obie grupy działają w tych samych warunkach rynkowych.
To mocniejszy dowód niż punkt odniesienia, ale wymaga, żeby dało się losowo podzielić odbiorców i osobno zmierzyć wynik w każdej grupie.
Grupa wstrzymana (holdout)
Grupa wstrzymana (holdout) to świadoma decyzja, żeby część odbiorców celowo nie objąć działaniem. Różnica między grupą objętą działaniem a grupą wstrzymaną pokazuje efekt netto, oczyszczony z wpływu tła rynkowego.
Metoda ta wymaga zgody na to, że część potencjalnych odbiorców nie zobaczy kampanii — to koszt, który trzeba świadomie zaakceptować.
Test geograficzny
Test geograficzny uruchamia działanie w jednym regionie, a inny, podobny region traktuje jako porównanie. Sprawdza się przy działaniach, których nie da się skierować do pojedynczych osób, na przykład w telewizji, outdoorze albo dużych kampaniach zasięgowych.
Warunkiem jest dobór regionu porównawczego podobnego pod względem wielkości rynku, sezonowości i konkurencji — inaczej porównanie nic nie powie.
Kiedy wystarczy korelacja, a kiedy trzeba testu
Nie każda decyzja wymaga pełnego testu. Przy niskim koszcie błędnej decyzji punkt odniesienia i zdrowy rozsądek wystarczą. Przy dużym budżecie albo decyzji trudnej do cofnięcia warto sięgnąć po grupę kontrolną, grupę wstrzymaną albo test geograficzny.
INTERPRETACJA W Commplace dobór narzędzia zależy od kosztu błędu, nie od dostępności danych — im droższa decyzja, tym mocniejszy powinien być dowód. Ta sama zasada progu kosztu stoi za wyborem metody prognozy opisanej w prognozie budżetu metodą Monte Carlo.
Wynik testu wpływu, niezależnie od narzędzia, trafia potem na kokpit decyzyjny jako wskaźnik z punktem odniesienia, celem i właścicielem — nie jako pojedyncza liczba w raporcie, którą łatwo zapomnieć.
Pytania i odpowiedzi
Czym różni się korelacja od wpływu?
Korelacja oznacza, że dwie rzeczy zdarzają się razem w czasie — na przykład kampania i wzrost sprzedaży. Wpływ oznacza, że jedna rzecz rzeczywiście powoduje drugą. Sama korelacja nie wystarcza, żeby to stwierdzić, bo obie rzeczy mogą mieć wspólną, trzecią przyczynę.
Co to jest punkt odniesienia w pomiarze efektów?
Punkt odniesienia (baseline) to wartość wskaźnika sprzed rozpoczęcia działania, na przykład poziom sprzedaży w poprzednich miesiącach. Służy jako tło, z którym porównuje się wynik po kampanii.
Czym różni się grupa kontrolna od grupy wstrzymanej?
Grupa kontrolna powstaje przez losowy podział odbiorców na dwie grupy jeszcze przed działaniem, zwykle w teście A/B. Grupa wstrzymana (holdout) to świadome wyłączenie części odbiorców z działania, żeby zmierzyć różnicę wobec grupy objętej działaniem.
Na czym polega test geograficzny?
Test geograficzny uruchamia działanie w jednym regionie, a inny, podobny region służy jako porównanie bez tego działania. Stosuje się go, gdy nie da się skierować kampanii do pojedynczych osób, na przykład w mediach masowych.
Czy każda kampania wymaga testu A/B?
Nie. Test A/B, grupa wstrzymana czy test geograficzny mają sens przy dużym budżecie albo decyzji trudnej do cofnięcia. Przy mniejszej stawce punkt odniesienia zwykle wystarcza.
Co zrobić, gdy nie da się wydzielić grupy kontrolnej?
Wtedy stosuje się punkt odniesienia i ocenę innych czynników działających w tym samym czasie, na przykład sezonowości czy ruchów konkurencji. To słabszy dowód niż test, ale lepszy niż sama korelacja bez żadnego porównania.
Dlaczego sam wzrost sprzedaży po kampanii to za mało?
Bo wzrost mógł wynikać z innych przyczyn: sezonu, zmiany cen, ruchu konkurencji, ogólnej koniunktury. Bez punktu odniesienia albo grupy porównawczej nie da się oddzielić efektu kampanii od tła rynkowego.
Czytaj dalej
Skąd te informacje
- BENCHMARK Test A/B, grupa kontrolna, grupa wstrzymana (holdout) i test geograficzny to standardowe narzędzia metodologii eksperymentalnej stosowane w analityce marketingowej.
- INTERPRETACJA Reguła doboru narzędzia do kosztu błędnej decyzji, a nie do dostępności danych, jest praktyką stosowaną w Commplace.
Zacznijmy od diagnozy, nie od oferty
Sprawdzimy, gdzie jest Twoja marka i co realnie blokuje wynik. Dopiero potem rozmawiamy o działaniach.
Porozmawiajmy o Twojej sytuacji +48 665 379 071