Zmierz co jest mierzalne,
i uczyń mierzalnym to, co takim nie jest
Galileusz (1564-1642)

Pomiar i MSA - dla zarządzania na podstawie faktów

Co to jest pomiar?

W ujęciu klasycznym pomiar to przypisanie określonej właściwości wartości w wybranej jednostce. Jako wynik szeroko rozumianego pomiaru należy uważać także – w przypadku oceny atrybutowej – rozstrzygnięcia takie jak jednostka zgodna/niezgodna lub jest niezgodność/brak niezgodności (np. sprawdziany, wzorce, ocena wizualna).

Ocena danych pomiarowych

Ocena i zapewnienie jakości danych pomiarowych to podstawa wszystkich dalszych działań i analiz w zakresie kwalifikacji, oceny zachowania czy też doskonalenia procesu. Bez „dobrych” danych pozyskanych poprzez pomiar nie ma dobrego dalszego wnioskowania i podejmowania właściwych decyzji. Przypisywane R.Kaplanowi, mocno podkreślające znaczenie pomiaru, stwierdzenie: „jeśli nie możesz czegoś zmierzyć, to nie możesz tym zarządzać” przekłada się w formalnym podejściu wszystkich kultur organizacyjnych generujących jakość na wymóg zarządzania na podstawie faktów.

Co to jest MSA?

Analiza Systemów Pomiarowych (MSA) to zbiór metod i narzędzi służących do analizy i akceptacji systemów pomiarowych. Kwalifikacja systemu pomiarowego ma odniesienie do procesu lub do produktu. Zdatność systemu pomiarowego do nadzorowania procesu oznacza, że poprzez system pomiarowy możemy z dostateczną pewnością oceniać zachowanie się procesu ze względu na zmienność (czy proces uległ/nie uległ zmianie ze względu na położenie lub rozrzut). Zdatność systemu pomiarowego do nadzorowania produktu oznacza, że poprzez system pomiarowy możemy z dostateczną pewnością dokonywać rozstrzygnięcia czy dany parametr mieści się/nie mieści się w akceptowalnym zakresie (granice/granica specyfikacji).

W niniejszym artykule przedstawione zostaną aktualne wymagania odnośnie MSA w branży lotniczej.

MSA w branży lotniczej – metody i parametry

Dokumentem określającym obecne wymagania odnośnie MSA w branży lotniczej jest wydana w 2021 roku norma AS 13100 „AESQ Quality Management System Requirements for Aero Engine Design and Production Organisations”. Wymieniona norma – w odniesieniu do MSA – zastępuje normę AS 13003:2015 „Measurement Systems Analysis Requirements for the Aero Engine Supply Chain”. W tym samym roku co norma AS 13100 (rok 2021) ukazał się Podręcznik Referencyjny RM 13003 „Measurement Systems Analysis” stanowiący uzupełnienie, rozwinięcie oraz szeroką wykładnię interpretacyjną wymagań według AS 13100 odnośnie MSA.

Podręcznik Referencyjny RM 13003

Wydaje się, że intencją autorów Podręcznika Referencyjnego RM 13003 jest przedstawienie zagadnień MSA w sposób jak najbardziej zrozumiały, z silnym akcentem na efektywne, praktyczne, ekonomicznie uzasadnione wykorzystanie narzędzi MSA i interpretację wyników analiz. Krótko biorąc chodziło tutaj zapewne przede wszystkim o szeroko rozumianą użyteczność MSA, stąd też położony jest również duży nacisk na dobór odpowiedniej metody do określnego badania/oceny.  Podręcznik RM 13003 ilustrowany jest wieloma przykładami oraz studium przypadków. Przykładowe analizy rachunkowe wykonane są głównie w środowisku MINITAB.

Zagadnienia MSA przedstawione w Podręczniku Referencyjnym RM 13003 to szeroka, dostosowana do wymagań branży lotniczej (AS 13100:2021), kompilacja różnych spotykanych praktycznie podejść do oceny i kwalifikacji systemów pomiarowych. Podręcznik głównie odwołuje się i prezentuje podejścia stosowane w branży motoryzacyjnej (AIAG Reference Manual MSA 4^th ed. 2010), a także w normie ASTM E2782:2014 „Standard Guide for Measurement Systems Analysis (MSA)” i – w niewielkim stopniu – w normie ISO 22514-7:2021 „Statistical methods in process management – Capability and performance. Part 7: Capability of measurement processes”. W zasadzie odrębnym metodologicznie sposobem wypowiadania się o zachowaniu systemu pomiarowego i jego kwalifikacji jest zaprezentowane w Podręczniku podejście EMP (Evaluation Measurement Process) autorstwa D.J. Wheelera („EMP III. Using Imperfect Data”, SPC Press, 2007).

Przedstawiony w Podręczniku RM 13003 zestaw metod obejmuje – dla parametrów mierzalnych – ocenę i kwalifikację systemu pomiarowego ze względu na rozdzielczość, poprawność (błąd systematyczny, stabilność, liniowość) oraz precyzję (metoda średniej i rozstępu ARM, preferowana metoda analizy wariancji ANOVA, typ I analizy – współczynniki Cg, Cgk, ocena błędu systematycznego). Oczywiście mowa jest również o tzw. liczbie rozróżnialnych kategorii (ndc). Poruszony jest – w różnych kontekstach – problem wyznaczania i interpretacji  tzw. pasm ochronnych (guards band) nawiązujący do ISO 22514-7:2021; przedstawione podejścia do wyznaczania tych pasm jest dość oryginalne, ale raczej złożone.

W odniesieniu do kwalifikacji atrybutowej (go/no go) polecana jest tzw. metoda długa (R&R dla atrybutów) oraz ocena zgodności ocen za pomocą współczynnika kappa Cohena. Jeśli kwalifikacja odbywa się z wykorzystaniem skali porządkowej funkcyjnej/nie funkcyjnej (np. ocena za pomocą skali wzorców – wielkość ziarna lub zawartość wtrąceń niemetalicznych w stali, wielkość i dyspersja grafitu w żeliwie) to jako kryterium kwalifikacji Podręcznik rekomenduje wykorzystanie współczynnika korelacji wewnątrzklasowej ICC.

Metoda EMP (Evaluation Measurement Process)

W znacznym stopniu podejściem odrębnym w porównaniu z wcześniej wymienionymi metodami oceny i kwalifikacji systemu pomiarowego  jest  przedstawiona w Podręczniku metoda EMP (Evaluation Measurement Process) autorstwa wspomnianego już wcześniej D.J. Wheelera. Tutaj, analiza systemu pomiarowego może przebiegać według trzech schematów: Badanie spójności (Consistency Study), Metoda krótka (Short EMP Study), Metoda podstawowa (Basic EMP Study).

Badanie spójności

W ramach schematu pierwszego (Badanie spójności) jeden operator dokonuje wielokrotnego pomiaru jednej części za pomocą jednego urządzenia pomiarowego – ten schemat w znacznym stopniu odpowiada bardziej znanej i często wykorzystywanej w analizie MSA ocenie współczynników zdolności urządzenia pomiarowego Cg, Cgk i błędu systematycznego (bias) - tzw. Procedura I.

Metoda krótka

Drugi schemat EMP tj. Metoda krótka - to pomiar kilku części (każda z tych części mierzona jest wielokrotnie) przez jednego operatora za pomocą jednego urządzenia pomiarowego - ten schemat stanowi odpowiednik szerzej znanej tzw. Procedury III, tj. ocenie powtarzalności przy braku wpływu operatora na wynik pomiaru.

Metoda podstawowa

Wreszcie, w trzecim z wymienionych schematów podejścia EMP, tj. w Metodzie podstawowej kilku operatorów dokonuje wielokrotnych pomiarów na kilku częściach na jednym lub kilku urządzeniach pomiarowych – ten schemat to odpowiednik oceny powtarzalności i odtwarzalności z wykorzystaniem analizy wariancji ANOVA - tzw. Procedura II.

W podejściu EMP niezależnie od zastosowanego schematu, zwraca się szczególną uwagę na posługiwanie się metodami graficznymi (m.in. karty kontrolne) i ocenę stabilności procesu pomiarowego.

Wyniki EMP

Wynikami podejścia EMP są przede wszystkim: wartość współczynnika korelacji wewnątrzklasowej ICC i szerokość pasm ochronnych (nawiasem mówiąc można wyznaczyć  funkcyjną zależność pomiędzy ICC a bardziej znaną liczbą rozróżnialnych kategorii ndc). Oczywiście podejście EMP może prowadzić także do wyznaczenia wielu innych miar zdatności systemu pomiarowego. Warto jeszcze dodać, że współczynnik ICC podlega w metodzie EMP bardzo szczegółowej interpretacji, zakres jego możliwych wartości (od 0 do 1) jest podzielony na cztery klasy określające stopień czułości systemu pomiarowego do monitorowania procesu ze względu na zmienność.

Poza przedstawionymi zagadnieniami Podręcznik RM 13303 porusza również zagadnienia inne, takie jak ocena wpływu temperatury (nie są to rozważania zbyt szczegółowe), a także kwalifikację MSA w przypadku maszyn CMM.

Niewątpliwie wielkim walorem Podręcznika RM 13003 jest bardzo dużo przykładów i wskazówek praktycznych typu: jak przeprowadzić analizę, na jakie trudności można się natknąć i jak te trudności starać się przezwyciężyć.

Podręcznik Referencyjny RM 13003 koncentruje się głównie na metodologii MSA, niemniej cytuje za normą AS 13100 kryteria akceptacji systemu pomiarowego z uwzględnieniem klasyfikacji parametru (właściwości) ze względu na znaczenie:

• Cechy krytyczne (critical features) – proponuję, wg określeń użytych wRM – poważnie wpływające na zadawalające działanie lub funkcjonowanie produktu działanie, stwarzające niebezpieczeństwo dla użytkownika,
• Cechy ważne (major features) – cechy istotnie zmniejszające użyteczność, trwałość, mogące spowodować awarię,
• Cechy mniej znaczące (minor features) – cechy nie zmniejszające w istotny sposób użyteczności oraz trwałości, nie mające istotnego wpływu na efektywne użytkowanie lub działanie.

Wybrane, najistotniejsze kryteria akceptacji systemu pomiarowego wg AS 13100:2021 przedstawiono w tab. 1

Tab.1  Wybrane kryteria akceptacji systemu pomiarowego

W odniesieniu do kryteriów akceptacji przedstawionych w Tabeli 1 warto zauważyć:

• w przypadku właściwości mierzalnych wszystkie kryteria odnoszą się do granic/granicy specyfikacji, czyli dotyczą kwalifikacji systemu pomiarowego do nadzorowania produktu (a nie procesu!),
• podział właściwości na kategorie i przypisanie właściwego dla kategorii kryterium akceptacji pozwala na optymalne, racjonalne ekonomicznie zarządzanie środkami pomiarowymi (koszty pomiaru),
• w odniesieniu do kwalifikacji atrybutowej kryteria akceptacji (wymieniony w Tab.1 współczynnik kappa Cohena, czy też – nie wymienione w Tab.1 - kryteria akceptacji w tzw. metodzie długiej) są ostrzejsze w porównaniu z tymi stosowanymi w innych branżach (np. motoryzacyjnej).

Poza tym – jest to bardzo ważne - wg normy AS 13100:2021:

• wszystkie przedstawione kryteria akceptacji mają charakter opcjonalny i mogą być zastąpione kryteriami zdefiniowanymi przez klienta,
• poza kryterium akceptacji dotyczącym kwalifikacji wg skali porządkowej (współczynnik ICC) wszystkie pozostałe kryteria akceptacji odnoszą się do standardowych metod kwalifikacji systemu pomiarowego, a nie do metodyki EMP.

Weryfikujący i diagnostyczny charakter MSA wg RM 13003

Pomijając zagadnienia bardziej o charakterze systemowo-organizacyjnym takie jak opisane w AS 13100 oraz RM 13003 postępowanie w przypadku niespełnienia kryteriów akceptacji czy też wymagania odnośnie przeprowadzania MSA, warto jeszcze raz zwrócić uwagę na aspekty metodologiczne MSA zawarte w Podręczniku Referencyjnym RM 13003.

Podręcznik RM 13003 – jak opisano wcześniej - przedstawia dwa podejścia do oceny i kwalifikacji systemów pomiarowych.

Podejście pierwsze zasadniczo nie odbiega metodologicznie od tych stosowanych powszechnie i przedstawianych w normach ISO, wymaganiach branży motoryzacyjnej (w szczególności wg AIAG) i wielu innych. W oparciu o to podejście – jak już wspomniano wcześniej -  zdefiniowane są kryteria akceptacji systemu pomiarowego wg AS 13100:2021. Określmy zatem to podejście mianem podejścia weryfikującego.

Podejście drugie tj. metoda EMP jest bardzo interesujące, ale stosowane rzadziej. W przeciwieństwie do podejścia pierwszego (weryfikującego) podejście EMP ma charakter bardziej  – użyjmy tu określenia – diagnostyczny; ocena systemu pomiarowego jest bardziej odniesiona do procesu, do jego monitorowania ze względu na zmienność, niż do kwalifikacji systemu pomiarowego do akceptacji produktu.

Nie ulega wątpliwości, że te dwa podejścia wzajemnie się uzupełniają, mają komplementarny charakter i pozwalają na bardzo szczegółowy, kompletny z każdego punktu widzenia (proces, produkt) wgląd w zachowanie się i możliwości systemu pomiarowego

Podsumowanie

Autorem wszystkich dokumentów dotyczących MSA w branży lotniczej, a także wszystkich innych norm AS i Podręczników Referencyjnych RM jest Aerospace Engine Supplier Quality (AESQ) (aesq.sae-itc.com, info@aesq.sae-itc.org). W wizji AESQ wszystkie obecnie aktualne normy AS i Podręczniki Referencyjne RM mają „ustanowić i utrzymać wspólny zestaw wymagań jakościowych gwarantujący globalny łańcuch dostaw silników lotniczych, konkurencyjność dzięki wydajnym, szczupłym procesom i ciągłemu doskonaleniu”. Realizacja tej wizji nakłada obecnie na branżę lotniczą wiele nowych wyzwań (organizacyjnych, procesowych, szkoleniowych, innych), ale niewątpliwie przysporzy to z pewnością organizacjom z branży lotniczej wartości dodanej. Wydaje się, że w zestawie wymagań jakościowych AESQ znaczenie jakości pomiaru, znaczenie MSA ma charakter pierwszoplanowy, najbardziej istotny i najbardziej „wrażliwy” – dostatecznie pewny wynik pomiaru to wartość sama w sobie, wykorzystanie wiarygodnych danych pomiarowych w dalszych analizach procesowych buduje i wzbogaca wiedzę procesową i rozumienie procesu, dostarcza informacji o możliwościach jego doskonalenia.

I jeszcze jedno. Niech ten krótki artykuł – proszę pozwolić na sformułowanie takiego oczekiwania – będzie asumptem do własnej lektury Podręcznika Referencyjnego RM 13003 i normy AS 13100 która niewątpliwie pozwoli na usystematyzowanie i pogłębienie wiedzy z zakresu MSA zarówno w odniesieniu do Czytelników z bogatym, jak i mniej bogatym doświadczeniem w tym zakresie.