Prognozowanie popytu, zanim zaangażujesz budżet

Prognozowanie ma problem wizerunkowy. To słowo każe ludziom wyobrazić sobie model, który przepowiada przyszłość, myli się i kompromituje wszystkich na najbliższym posiedzeniu zarządu. Nie do tego go używamy. Prognoza popytu nie jest proroctwem — to sposób, by wydatki podążały za dowodami, a nie za opiniami, i by wiedzieć, jeszcze zanim pieniądze opuszczą konto, gdzie najpewniej do niego wrócą.

Uczciwe ujęcie brzmi tak: nie próbujemy mieć racji co do następnego kwartału. Próbujemy mylić się mniej niż przy płaskim założeniu i przypiąć przedział ufności do każdej liczby, by zespół mógł odpowiednio wymierzyć swoje zakłady. Prognoza, która mówi „popyt w tym segmencie rośnie, a oto jak bardzo jesteśmy tego pewni", jest warta znacznie więcej niż taka, która pewnie podaje jedną liczbę, której nie da się obronić.

Prognoza to narzędzie decyzyjne, nie popis przewidywania

Test, który stosujemy do każdego modelu, jest prosty: czy zmienia to, co byśmy zrobili? Jeśli prognoza przychodzi, wszyscy kiwają głowami, a plan zostaje identyczny — model był teatrem. Przydatna prognoza przesuwa realną decyzję — przenosi budżet z nasycającego się kanału do rosnącego, wstrzymuje start, dopóki popyt nie okrzepnie, albo daje zielone światło zapasom przed sezonowym wahnięciem. Budujemy modele wstecz, od decyzji, której mają służyć, nigdy w przód, od danych, które akurat mamy.

Ta dyscyplina chroni nas przed przeinżynierowaniem. Dwutygodniowa prognoza kanału, która jest kierunkowo trafna i aktualizowana codziennie, bije dwunastomiesięczną projekcję, której nikt nie ufa na tyle, by według niej działać. Rozdzielczość powinna odpowiadać horyzontowi decyzji, a nie ambicji modelu.

Jak oceniamy popyt i odbiorców

W praktyce praca dzieli się na dwa pytania: ile popytu nadciąga i kto najpewniej skonwertuje. Odpowiadamy na nie warstwowym podejściem, a nie jednym heroicznym modelem:

• Popyt bazowy — sezonowość, trend i znane wydarzenia, byśmy nigdy nie byli zaskoczeni wahnięciem, które kalendarz już zapowiadał.
• Sygnały wyprzedzające — zainteresowanie w wyszukiwarce, zachowanie na stronie i tempo pipeline'u, które ruszają wcześniej niż przychód i dają wczesne ostrzeżenie.
• Ocena odbiorców — model skłonności, który szereguje segmenty według prawdopodobieństwa konwersji, by wydatki skupiały się tam, gdzie zwrot jest najbardziej prawdopodobny.
• Przedziały ufności — jawny zakres przy każdym szacunku, bo prognoza bez niepewności to po prostu zgadywanka w garniturze.

Wyniki nie są nietykalne. Zasilają cotygodniowe przesunięcie budżetu: środki przechylają się ku segmentom i kanałom, które model ocenia wysoko, obserwujemy, co faktycznie konwertuje, a wyniki następnego tygodnia wchłaniają tę informację zwrotną. Model zdobywa zaufanie tym, że jest korygowany na oczach wszystkich, a nie tym, że jest broniony.

To w ocenie odbiorców zwykle kryje się dźwignia. Dwa segmenty mogą wyglądać identycznie w arkuszu — ta sama wielkość, ta sama średnia wartość zamówienia — a konwertować w zupełnie różnym tempie, gdy uwzględnisz świeżość, sygnały intencji i sposób, w jaki trafiły do Ciebie po raz pierwszy. Model skłonności ujawnia tę różnicę, a różnica bywa na tyle duża, że samo przeznaczenie większych środków na wyżej oceniony segment przewyższa każdą poprawkę kreacji, jaką mógłbyś wnieść do samej kampanii. Widzieliśmy, jak pojedyncze przesunięcie budżetu, napędzane wyłącznie uczciwą oceną, obniżyło koszt na szansę o dwucyfrowy procent w ciągu miesiąca.

Prognoza, według której nie da się działać, to ozdoba. Każdy model oceniamy jednym pytaniem — czy plan by się zmienił, gdyby zmieniła się liczba? Jeśli nie, nie wdrażamy go.

— Joana Reis, Szefowa analityki

Gdzie prognozy zawodzą

Porażki są przewidywalne, co jest dobrą wiadomością. Modele dryfują, gdy świat się zmienia, a nikt ich nie przetrenowuje; przeuczają się, gdy ktoś goni za szumem zeszłego kwartału; zaczynają być im ufane ponad miarę dowodów, gdy pewny wykres wyprzedza dane, które za nim stoją. Bronimy się przed wszystkimi trzema tak samo — odkładając najnowsze dane, by sprawdzić uczciwość modelu, przetrenowując go według harmonogramu, a nie w panice, i otwarcie raportując błąd, by psujący się model został wychwycony, zanim źle pokieruje budżetem. Sens mierzenia błędu to nie samobiczowanie; to wiedza, jak duży ciężar prognoza udźwignie, zanim się na niej oprzesz.

Wniosek

Prognozowanie popytu, zanim zaangażujesz budżet, nie polega na przewidywaniu przyszłości z precyzją, której nie masz. Polega na zastąpieniu „wydaje mi się, że to właściwy kanał" przez „popyt tu rośnie, nasza pewność jest umiarkowana, a w ciągu tygodnia będziemy wiedzieć, czy się mylimy". To skromniejsze twierdzenie, niż sugeruje słowo prognoza — i znacznie bardziej przydatne. Spraw, by wydatki podążały za dowodami, przypnij uczciwość do każdej liczby i pozwól modelowi poprawiać się za każdym razem, gdy rzeczywistość go skoryguje. To ta pętla, a nie żadne pojedyncze przewidywanie, jest tym, co się kumuluje.