Ostatnio sporo mówi się o premierze książki Tomka Karwatki pt. „The 5. Pierwsze pięć lat prowadzenia firmy”. Choć sam prowadzę firmę od 13 lat, przeczytałem ją jednym tchem. Cieszę się, że Tomek poświęcił w niej kilka stron tematowi mierzenia satysfakcji i lojalności klientów - NPS. To ważny element w publikacji, która dla wielu przedsiębiorców może stać się jednym z najcenniejszych źródeł praktycznej wiedzy. Ale… nie ze wszystkim, co Tomek napisał o NPS, mogę się zgodzić.

Oto fragment z książki "The 5. Pierwsze pięć lat prowadzenia firmy":

Istotna jest także edukacja klientów: w kulturze polskiej klienci często zaniżają oceny. Trzeba ich edukować, tłumacząc, że 5 oznacza „jestem niezadowolony”, a zadowolony klient to ocena 9 lub 10.

A w innym miejscu: 

Ciekawostka. W pewnym momencie zauważyliśmy, że klienci z Polski często zaniżali oceny w NPS w porównaniu z klientami zagranicznymi, mimo że byli zadowoleni z usługi. Okazało się, że w polskiej kulturze 9 czy 10 to oceny zarezerwowane dla „ideału”, a nie dla „bardzo dobrej usługi”. Musieliśmy im wyjaśnić, jak działa skala NPS i co oznaczają poszczególne oceny w kontekście międzynarodowym.

Nie czekałem i napisałem do Tomka w tej sprawie i nadal sobie na ten temat rozmawiamy. Jestem pod ogromnym wrażeniem jego otwartości na dyskusję. Treści tejże przytaczać nie będę, ale ta cała sytuacja kazała mi się zastanowić nad dwoma kwestiami: 

1. Czy to w ogóle możliwe, aby oduczyć rynek edukacji / tłumaczenia / wyjaśniania skali NPS klientom?
2. Jakie szkody generuje „edukacja” klienta dla właściciela biznesu i dla rynku?

Czy jest szansa zatrzymać tę „Wielką schizmę” i zatrzymać „Rozłam kościoła wyznawców klienta”? Prosta odpowiedź brzmi: NIE. Nie ma takiej opcji. To poszło za daleko. 

Otrzymuję co chwila od różnych znajomych zdjęcia i zrzuty ekranów do podzielenia się opinią, gdzie skala jest tłumaczona na różne sposoby. Na całym świecie. 

NPS to jeden z najbardziej popularnych i najczęściej używanych wskaźników, ale problem tkwi w tym, że właściciele biznesów dowiadują się o nim od innych właścicieli biznesów, a nie z książki: “The Ultimate Question”. I trudno ich za to winić - mają wiele spraw na głowie i o ile znajdą czas na książki dla CEO, o tyle na specjalistyczną literaturę na temat mierników lojalności klienta, raczej już nie.

Dlatego w rezultacie, wokół NPS, powstały dwie frakcje:

• Po jednej stronie mamy Dogmat Puryzmu Reichheldowskiego i przywiązanie do Tradycji metod badawczych - do których sam się zaliczam.
• Po drugiej stronie mamy Biznesowy Pragmatyzm i Reformatorów NPS - do których bliżej Tomkowi.

Ponieważ historia lubi się rymować, nie sądzę, żeby udało się zjednoczyć ten „badawczy kościół”.

Czy wyjaśnianie klientom skali NPS szkodzi? I jeśli tak - komu?

Dzisiaj wystarczy zatrudnić Deep Research w Google Gemini lub Chat GPT, aby po 15 minutach otrzymać wyczerpujące wyjaśnienie dlaczego, komu i jak bardzo to szkodzi. 

Ale żeby nie odsyłać Cię, drogi czytelniku, do AI przytoczę tutaj najciekawsze i najbardziej wartościowe kawałki. 

Psychologia ankietowania

Żeby zrozumieć wpływ kolorowania skali NPS na wyniki, trzeba odwołać się do fundamentalnych badań nad psychologią ankietowania, w szczególności do prac Rogera Tourangeau nad heurystykami interpretacyjnymi. Wyjaśniają one, że kwestionariusz nie jest jedynie zbiorem pytań tekstowych - jest artefaktem wizualnym, a respondenci interpretują jego układ graficzny jako część komunikatu.

Heurystyki Interpretacyjne Tourangeau

Badania nad wskazują, że respondenci są z natury leniwi i dążą do minimalizacji wysiłku poznawczego. Dlatego stosują podświadome skróty myślowe (heurystyki) przy interpretacji skal. W kontekście kolorowania skali NPS kluczowe znaczenie mają trzy heurystyki zidentyfikowane przez Tourangeau, Coupera i Conrada :   

1. „Blisko oznacza spokrewnione" (Near means related): Elementy zgrupowane wizualnie są postrzegane jako koncepcyjnie tożsame. Gdy oceny 0-6 są objęte wspólnym blokiem koloru czerwonego, respondent traci poczucie niuansów między oceną 0 (całkowita porażka) a 6 (umiarkowane niezadowolenie). Wszystkie te opcje zlewają się w jeden komunikat: „Negatywna ocena".
2. „Podobne oznacza bliskie" (Like means close): Podobieństwo wizualne (np. ten sam odcień koloru) sugeruje bliskość znaczeniową. Jeśli skala jest cieniowana (gradient), respondent zakłada ciągłość. Jeśli jednak stosowane są kontrastowe barwy (czerwony vs zielony), respondent interpretuje to jako dychotomię lub silną opozycję, co może prowadzić do polaryzacji odpowiedzi.
3. „Środek oznacza typowość" (Middle means typical): Respondenci zakładają, że wizualny środek skali odpowiada statystycznej normie. Wprowadzenie koloru żółtego dla ocen 7-8 (które w NPS są przesunięte w prawo względem geometrycznego środka skali 0-10, którym jest 5) zaburza tę heurystykę, sugerując, że „normą" lub stanem „ostrzegawczym" są oceny relatywnie wysokie.

Survey Coaching

Werbalne lub pisemne instruowanie respondenta o mechanizmie działania NPS. Jest jeszcze bardziej szkodliwe niż samo kolorowanie skali. Taka praktyka jest określana w literaturze jako „Gaming the Score", „Begging for Scores" lub „Survey Coaching". I jest uznawana za patologię analityczną. 

Komunikat typu: „Przypominamy, że w naszej skali oceny 9 i 10 to oceny pozytywne, a 7 i 8 to oceny neutralne", skutkuje tym, że Klient przestaje oceniać swoje odczucia, a zaczyna rozwiązywać „test" na poprawność. Jeśli chce być miły, daje 9. Jeśli chce być neutralny, daje 7. Odpowiedzi przestają być rozkładem normalnym lub rzeczywistym, a stają się artefaktem instrukcji.

Inflacja odpowiedzi

Wyniki otrzymane w badaniu, w którym respondentom wyjaśniono, jakie konsekwencje będzie miało wybranie konkretnej liczby, będą zawyżone o około 5 pkt. Otrzymany wynik nie będzie więc odzwierciedlał tempa wzrostu Twojej firmy - a to właśnie taka jest Reichheldowska obietnica. Zamiast skutecznej „Lead Measure” przewidującej przyszłe przychody firmy otrzymujemy nic nie warty Vaniti Metric. 

Główną wartością NPS ma być jego korelacja ze wzrostem biznesu i retencją klientów. „Edukacja" klienta niszczy tę korelację. Gdy firma analizuje dane, widzi armię Promotorów, ale siły wzrostu organicznego (Word of Mouth) już nie widzi. Zarząd zaczyna sobie zadawać zatem pytanie - to po co nam ten cały NPS, jak on przewiduje przyszłość tak samo, jak horoskopy w “Super Expressie”.

Konsekwencje

NPS przestaje być “benchmarkowalny” z rynkiem. NPS liczony na skali kolorowej to inna metryka niż NPS liczony na skali neutralnej. Poza tym tracimy też możliwość identyfikacji klientów pasywnych, którzy są najbardziej podatni na ofertę konkurencji. W badaniu ukrywają się pod etykietą promotorów, co usypia czujność managerów.

Co więcej, takie podejście do badań sprawia, że coraz większą uwagę skupiamy na liczbie a coraz mniejszą na istocie, czyli na kliencie i rozwiązywaniu jego problemów. Prawdziwa wartość NPS leży w komentarzach i identyfikacji krytyków. Gdy „edukacja” lub kolorowanie skali skłoni Detraktora do zaznaczenia „Pasywnego” (żeby nie robić kłopotu), firma traci szansę na Service Recovery. Problem pozostaje ukryty, aż klient odejdzie bez słowa.  

Ale z drugiej strony…

1. To dobrze, że firmy proszą o feedback i takie pytanie w ogóle zadają.
2. Znacznie lepiej, gdy organizacja jest skoncentrowana na kliencie (nawet z nie do końca doskonałymi narzędziami), niż zamyka się w swojej bańce.
3. Jeszcze lepiej, jak po otrzymaniu negatywnej oceny, ktoś się kontaktuje z klientem i wyjaśnia sprawę. 

I chociaż idealnie nie jest, to jednak w całej tej zabawie nie chodzi o narzędzia, czy o puryzm badawczy. Tu chodzi o cel - czyli o koncentrację na kliencie, jego perspektywie i jego potrzebach. 

Tomek Karwatka w swoich biznesach używał NPS i tłumaczył klientom skalę. Jeżeli ten nieco zmieniony miernik jest nadal narzędziem do zmiany, to nie ma co dyskutować o tym, którą stroną młotka wbijasz gwoździe, jeżeli jesteś w stanie robić to skutecznie. Ważne, aby w tej dyskusji i edukacji nie zapominać o celu, któremy NPS służy. Bo to jest trochę tak, jak o dyskusji na temat tego, czy lepsza dieta Wege, Keto czy klasyczna. No bo jeżeli daje efekty i nie szkodzi, to trzeba chwalić za pracę z celami.

Ten wpis to mój osobisty apel o to, abyśmy w dyskusjach o wyjaśnianiu skali NPS, nie wylali dziecka z kąpielą. Bo o ile „Ultimate Question” nie jest pomalowane i wyjaśnione, to „Ultimate Goal” jest taki, żeby rozwiązywać problemy klienta, a firmie generować zysk.

Odpowiadając wprost na tytułowe pytanie, czy survey coaching szkodzi, odpowiem przewrotnie: to zależy. Bo cytując Biblię: „Po owocach ich poznacie”.H