Jak sprawdzić, czy odnowa poprawiła system, a nie tylko zmieniła jego wygląd
Ocena po wdrożeniu powinna odpowiadać na jedno pytanie: czy w sytuacji, która wcześniej była problemem, system zachowuje się teraz lepiej. Liczba wykonanych zmian, zakres projektu i nowa warstwa wizualna nie są jeszcze rezultatem. Potrzebny jest związek między interwencją a realnym przebiegiem pracy.
Porównuj ten sam scenariusz przed i po zmianie
Najbardziej czytelne porównanie zaczyna się od konkretnego przypadku, który był częścią diagnozy. Warto sprawdzić liczbę kroków, czas oczekiwania, liczbę decyzji wymagających dodatkowej informacji, częstotliwość poprawek oraz momenty przekazywania odpowiedzialności. Dzięki temu wiadomo, czy zmiana usunęła przyczynę, czy tylko przesunęła trudność na inny etap.
Jeżeli wcześniej użytkownicy tworzyli obejście, trzeba sprawdzić, czy nadal jest potrzebne. Zniknięcie nieformalnej czynności może być ważniejszym sygnałem niż poprawa pojedynczego parametru. Z kolei pojawienie się nowego obejścia pokazuje, że nowa wersja wytworzyła lukę, której nie było w projekcie.
Jedna dobra metryka może ukrywać pogorszenie w innym miejscu
Skrócenie czasu wykonania zadania wygląda pozytywnie, ale nie wystarcza, jeśli wzrosła liczba błędów lub przypadków wracających do poprawy. Spadek liczby pytań może oznaczać większą czytelność, ale również rezygnację użytkowników z konsultacji i większe ryzyko błędnej decyzji. Każdy wskaźnik trzeba więc czytać razem z zachowaniem systemu.
Przydatne jest zestawienie rezultatu głównego z dwoma lub trzema skutkami ubocznymi. Jeśli celem było skrócenie ścieżki, warto równocześnie obserwować poprawność wyniku i liczbę wyjątków. Jeżeli poprawa jednego parametru powoduje pogorszenie drugiego, decyzja wymaga oceny całego bilansu, a nie wybierania najkorzystniejszej liczby.
Trwałość ocenia się po czasie, gdy znika efekt nowości
Bezpośrednio po wdrożeniu użytkownicy zwykle poświęcają więcej uwagi nowemu sposobowi pracy. Mogą dokładniej czytać instrukcje, częściej sprawdzać wynik i bardziej świadomie realizować kolejne kroki. To może chwilowo poprawiać jakość. Dopiero po pewnym czasie widać, czy system sam wspiera właściwe działanie, czy rezultat zależał od zwiększonej koncentracji.
Dlatego warto wrócić do oceny po ustabilizowaniu pracy. Jeżeli liczba wyjątków zaczyna rosnąć, pojawiają się skróty lub powracają stare pytania, zmiana może nie być wystarczająco odporna. Jeżeli poprawa utrzymuje się bez dodatkowego nadzoru, jest większa szansa, że rezultat wynika z konstrukcji systemu.
Niepożądany skutek trzeba rozpatrywać jako nowy problem systemowy
Zmiana może rozwiązać pierwotny problem i jednocześnie stworzyć inny. Nie oznacza to automatycznie porażki. Ważne jest, aby nowy skutek został rozpoznany i oceniony według jego znaczenia. Może wymagać małej korekty, zmiany reguły albo powrotu do części wcześniejszego rozwiązania. Najgorszą reakcją jest ignorowanie go tylko dlatego, że projekt formalnie został zakończony.
Ocena rezultatów powinna więc zachować możliwość korekty. Jeśli sposób pomiaru ma jedynie potwierdzić wcześniej ogłoszony sukces, traci wartość diagnostyczną. Potrzebne są kryteria, które dopuszczają wniosek, że część zmiany nie działa zgodnie z założeniem.
Rezultat jest użyteczny, gdy prowadzi do kolejnej decyzji
Na końcu oceny powinno być wiadomo, czy zmianę utrzymać bez korekty, poprawić wybrany element, rozszerzyć rozwiązanie na kolejny zakres czy zatrzymać dalsze działania. Sam raport bez decyzji szybko staje się archiwum. Ocena ma znaczenie wtedy, gdy wpływa na sposób dalszego zarządzania systemem.
Jeżeli rezultat jest pozytywny, warto również wskazać mechanizm, który go spowodował. Dzięki temu kolejne zmiany nie kopiują powierzchniowego rozwiązania, lecz korzystają z wiedzy o tym, co faktycznie poprawiło zachowanie systemu.
Pozorny sukces najłatwiej wykryć przez koszt przeniesiony poza system
Zmiana może wyglądać skutecznie, jeśli mierzy się wyłącznie działanie wewnątrz systemu. Użytkownik może jednak wykonywać dodatkową pracę wcześniej, później albo w innym narzędziu. Wtedy poprawa jednego etapu jest finansowana kosztem niewidocznym w głównej metryce. Podczas oceny warto więc zapytać, czy po zmianie pojawiły się nowe przygotowania, dodatkowe kontrole, ręczne zestawienia albo częstsze konsultacje. Jeśli tak, należy doliczyć je do całego scenariusza. Dopiero pełny przebieg pokazuje, czy system rzeczywiście stał się prostszy, bardziej przewidywalny i mniej obciążający w codziennym użyciu. Pomocne jest również porównanie przypadków łatwych i nietypowych. Jeżeli poprawa występuje tylko w prostych sprawach, a wyjątki wymagają większej liczby działań niż wcześniej, rezultat może być częściowy. Ocena powinna wtedy wskazać granicę skuteczności rozwiązania. Dzięki temu wiadomo, czy potrzebna jest korekta reguły, czy świadome pozostawienie ręcznej obsługi dla rzadkich sytuacji. Ważne jest też sprawdzenie, czy poprawa nie zależy od jednej osoby pilnującej nowego przebiegu. Jeśli po wycofaniu dodatkowego nadzoru wyniki się pogarszają, zmiana nie jest jeszcze samowystarczalna.