Interpretación de los Informes de EACI – Parte 3

En este post se discuten diferentes herramientas para la evaluación de resultados de Ensayos de Aptitud a largo plazo.

Herramientas para la Evaluación de z-score a largo plazo

Los valores individuales de z pueden combinarse para evaluar el desempeño del laboratorio en el tiempo. Con este propósito se utilizan los siguientes índices:

Suma de z-scores

Suma de los z de cada laboratorio, , si todas las puntuaciones z son del mismo signo, este índice será de mayor valor absoluto indicando un desvío sistemático.

Suma re-escaldad de z-scores

Este método es aplicable a un laboratorio participante individual que ha obtenido una secuencia de evaluaciones de desempeño para una única combinación de analito, matriz y método analítico.

La suma (rescale sum) se calcula como se indica en la siguiente fórmula:

El resultado se puede interpretar de la misma manera que un z-score individual:

≤ 2	Resultado Satisfactorio
2 <  < 3	Resultado Cuestionable
≥ 3	Resultado Insatisfactorio.

La distribución de RSZ esperada debería ser normal con centro en cero y varianza unitaria.

Este tipo de estimador pone en evidencia la presencia de sesgo o tendencias en la secuencia de z-scores.

Suma de Cuadrados de Z-score

Otra alternativa es realizar la suma de los cuadrados de los z-scores como se indica a continuación:

      Este parámetro tiene una distribución  (Chi cuadrado) con centro en cero y varianza unitaria.

Este estadístico tiene la ventaja que evita la anulación de z-scores de signos opuestos, como en los dos casos anteriores, pero es menos sensible en la detección de pequeñas tendencias o sesgos.

La interpretación de este estadístico se realiza por comparación del valor SSZ (estadístico de prueba) con el valor tabulado para un determinado número n de datos evaluados.

Sin embargo, es conveniente filtrar o eliminar aquellos z-scores que sean outliers antes de incluirlos en el análisis de desempeño.

En resumen, mientras que el estadístico RSZ es sensible a la presencia de sesgo o tendencias, el SSZ-score es sensible a la presencia de outliers.

              Interpretación de SRZ y SSZ

a.      La interpretación de SRZ y SSZ debe ser realizada con sumo cuidado, ya que no tienen en cuenta resultados aberrantes y las puntuaciones z no satisfactorias de signo opuesto se cancelan entre sí, dando la impresión de desempeño satisfactorio.

b.      SSZ refleja con mayor exactitud el desvío total que SRZ, pero no da el signo del desvío. Por ello ambos índices resultan complementarios.

c.       Es evidente que cuanto más cerca de cero resulten los índices mejor será el desempeño.

d.      Un laboratorio debería investigar y posiblemente tomar acciones si:

       Algunos de los resultados informados resultaron aberrantes.

       Si todas las puntuaciones z resultaron del mismo signo.

       Si valores absolutos de una puntuación z o de SRZ resulto mayor a 2.

       Si el resultado de SSZ resultó mayor al valor de tabla para el 95%.

e.      No es recomendable comparar estadísticos z combinados entre laboratorios con análisis de diferente cantidad de analitos. Por ello, es conveniente agrupar los resultados por número de analitos reportados (n).

Interpretación de los Informes de EACI – Parte 2

Este post debe integrarse con los conceptos discutidos en anteriores artículos: Análisis Crítico de los Resultados de EACI-Parte 1 y 2.

 En este post se señalan los aspectos adicionales que deben tenerse en cuenta al momento de analizar los resultados de Ensayo de Aptitud cuando no existen antecedentes de participación para ese ensayo.

Evaluación de z-score a corto plazo

Cuando el laboratorio participa por primera vez en un programa de EACI (no tiene participaciones anteriores para ese analito/matriz) el laboratorio puede optar por confiar en lo informado por el proveedor de EACI o realizar sus propios cálculos de z-score.

La opción de confiar en los resultados emitidos por el proveedor de EACI estará en cierta forma establecida por el proceso de selección del mismo y el grado de reconocimiento de los programas. Los laboratorios deben tener en mente que no existe un único protocolo de análisis estadístico aplicable y que por ende el proveedor establece el procedimiento más adecuado. Desafortunadamente no existe un único procedimiento que sea aplicable a todos los casos.

En general los participantes tienden a confiar en las decisiones de los proveedores de EACI. Los organizadores por lo general disponen de protocolos donde se indican los procedimientos y decisiones a tomar. Una breve reseña de estos protocolos se detalla en el Informe de EACI.

Otro aspecto a tener en cuenta es el criterio aplicado para la estimación del valor asignado. Recordar que si nuestro laboratorio participa en EACI cuyo valor asignado se obtienen por consenso de los laboratorios participantes, probablemente todo el esfuerzo realizado en mejorar los z-scores sean tendientes a compensar el sesgo del valor consenso pudiéndose perder de esta forma trazabilidad en las mediciones. Es por ello que debe tenerse en cuenta que se debe proceder cautelosamente y nunca realizar una interpretación de los resultados sin tener en cuenta otras herramientas de aseguramiento de la calidad como son los controles internos en especial el uso de MRC que presentan trazabilidad y que pueden seguramente (dependiendo de la matriz) establecer el sesgo del método analítico aplicado.

Cuando se decide recalcular el z-score se puede considerar lo siguiente:

        Considerar sólo los resultados (medias) de aquellos laboratorios que realizan el mismo método analítico.

        Se puede juzgar si la desviación estándar es adecuada o no, en caso que no lo sea de recalcula el puntaje z con una desviación estándar más adecuada.

        Recalcular el z-score incluyendo la incertidumbre declarada del valor asignado o la estimada a partir de los resultados (z’-scores):

        Corregir los resultados según su % de recuperación. En este caso la incertidumbre o desviación estándar de la recuperación debe ser baja o bien se debe sumar a la incertidumbre o desviación estándar total:

En el siguiente post Interpretación de los Informes de EACI-Parte 3, se darán herramientas para la evaluación del z-score a largo plazo.

Interpretación de los Informes de EACI – Parte 1

Este post forma parte de una secuencia de artículos vinculados con la interpretación de resultados de Ensayos de Aptitud. 

En este post se señalan las limitaciones de los Ensayos de Aptitud al momento de establecer si la calificación obtenida es extrapolable a los análisis de rutina o bien el desempeño es sostenido en el tiempo.

Resultados Satisfactorios vs. Resultados Insatisfactorios

Interpretar un informe de EACI nos proporciona la oportunidad de aprender sobre los diferentes aspectos que definen el desempeño analítico del laboratorio.

Generalmente, cuando se recibe el informe de EACI lo primero que nos preguntamos es ¿Pasó el laboratorio? Sin embargo no se trata únicamente si pasó o no pasó. Aún cuando el laboratorio haya obtenido un puntaje satisfactorio, éste no nos indica sobre la continuidad de este desempeño en el tiempo o si este resultado se puede trasladar a las muestras de rutina. Por otra parte, si el resultado ha sido insatisfactorio tampoco podemos aseverar que el desempeño del laboratorio se traslade a la rutina diaria, se deberá estudiar antes la causa.

En otras palabras, un resultados satisfactorio no indica que el desempeño sea tal todo el tiempo y por ende que el “laboratorio es bueno”, este desempeño se tendrá que verificar en el tiempo obteniendo resultados consistentes en sucesivas participaciones.

Un resultado insatisfactorio en cambio, disparará un estudio de las posibles causas y establecerá acciones correctivas tendientes a eliminar el error detectado y en la medida de lo posible que éste no vuelva a ocurrir. Hay que recordar que la capacidad de establecer y eliminar las causas también demuestra la competencia técnica del personal involucrado fortaleciendo el SGC del laboratorio. Entonces,

“Los Ensayos de Aptitud no se tratan de pasar o fallar, se trata de participar y aprender de los resultados”.

La evaluación del desempeño del laboratorio puede realizarse a corto y largo plazo. Una evaluación a corto plazo es cuando el laboratorio participa por primera vez en un programa de EACI para ese analito/matriz/método. Los objetivos que se persiguen son:

       establecer una primera aproximación de desempeño,

       evaluar el sesgo,

       establecer el desempeño respecto de otros laboratorios.

En una evaluación a largo plazo el laboratorio ha participado en sucesivos programas o rondas. Este tipo de evaluación tiene por objetivo:

       evaluar el desempeño del laboratorio en el tiempo,

       establecer la presencia de sesgo sistemático en el z-score.

Independientemente del resultado obtenido, satisfactorio o insatisfactorio, siempre debe realizarse un estudio de los resultados.

Una buena recomendación es nunca realizar una interpretación de resultados de EACI sin tener en cuenta otras participaciones o rondas y los controles de calidad interno. La información a evaluar va más allá del Informe de EACI, se debe tener en cuenta la información disponible proveniente del proceso de validación del método analítico, el uso de Materiales de Referencia Certificado, cartas control del proceso, entre otros.

En el siguiente post Interpretación de los Informes de EACI-Parte 2, se discuten aspectos relacionados con la interpretación de z-score a corto plazo.

z-score (Puntaje Z)

Evaluación de resultados.

Puntaje Z - “Z-score”.

El proveedor de la comparación interlaboratorio realiza el análisis estadístico de los resultados emitidos por los laboratorios, transformándolos en un parámetro de desempeño que permite la interpretación y comparación de los resultados de los participantes. Este parámetro de desempeño se denomina puntaje Z o en inglés z-score. El z-score se obtiene aplicando un método aceptado internacionalmente.

Se calcula el z-score para cada laboratorio participante como se indica a continuación:

      Donde      es el estimador del valor asignado (ej. promedio o mediana); es el estimador de la dispersión de resultados (desviación estándar, MADe o IQR rango interquartil).

Dependiendo del z-score calculado para cada laboratorio, se establece su desempeño en el EACI como se indica a continuación:

≤ 2	Resultado Satisfactorio
2 <  < 3	Resultado Cuestionable
≥ 3	Resultado Insatisfactorio.

Recordar que los estadísticos clásicos promedio y desviación estándar son significativamente influenciados por la presencia de resultados extremos (valores atípicos o outliers). Una alternativa robusta del promedio y la desviación estándar es utilizar la mediana y el  MADe respectivamente.

      Cuando la determinación del valor asignado  se asocia a la incertidumbre de su estimación entonces la fórmula anterior queda:

El puntaje así calculado se denomina z’-score (puntaje Z’). Donde  es el valor asignado (ej. promedio o mediana); es un estimador de la dispersión de resultados (desviación estándar, MADe o IQR rango interquartil); y  la incertidumbre del valor asignado.

Cuando < 0,3 , la incertidumbre del valor asignado es insignificante respecto de la dispersión de los resultados obtenidos, . Entonces se aplica la primera fórmula de z-score. En el siguiente esquema se indican los pasos a seguir para establecer el z-score:

  

En los siguientes posts Interpretación de Informes de EACI se darán herramientas para la interpretación y evaluación del z-score a corto y largo plazo.

Evaluación de Proveedor de EACI

Evaluación de Proveedor de EACI

Según lo establecido en las normas ISO 15189 e ISO 17025, todo proveedor de insumos, equipamiento y servicios del laboratorio deben ser evaluados y aprobados para operar con el laboratorio.

Así mismo, el Organismo Argentino de Acreditación ha establecido que:

“Se deben elaborar criterios para seleccionar y evaluar a los proveedores incluyendo criterios para evaluar a los proveedores de EEC, los cuales deben figurar en la lista de proveedores aprobados.”

De esto se concluye que el laboratorio debe documentar la evaluación de los proveedores de EACI, debe establecer criterios específicos de evaluación, e incluir cuando la calificación sea positiva, a los mismos en el listado de proveedores aprobados para operar con el laboratorio.

Criterios de Evaluación de Proveedores de  EACI.

A continuación se listan los criterios aplicables a la evaluación de proveedores de EACI. La aplicación de estos criterios dependerá de si se trata de un proveedor acreditado o un proveedor no acreditado.

Dentro de los Criterios Generales podemos evaluar el nivel del servicio en cuanto al:

        Cumplimiento del Cronograma

        Servicio de entrega de la muestra

        Precio

        Capacidad tecnológica y competencia técnica

        Grado de Comunicación

Dentro de los Criterios Específicos se puede evaluar:

        Calidad y cantidad de la muestra enviada

        Proceso o criterios de selección de los participantes: homogeneidad del criterio, alcance geográfico del programa (local, regional o internacional) de los participantes.

        Informe de resultados;

o       Suministro de Información en forma clara y precisa

o       Cumplimiento del número mínimo de participantes

o       Análisis estadístico apropiado según número de participantes

o       Análisis estadístico apropiado de outliers aplicado

o       Posibilidad de emitir objeciones al informe

        Plan de ejecución del EACI (Programa): cumplimiento del plan, identificación clara de los responsables y condiciones.

        Confidencialidad de la información

        Indicación de subcontratistas involucrados en el muestreo, procesamiento del ítem de ensayo, ensayos de homogeneidad y asignación de valor de referencia.

        Cumplimiento con los lineamientos normativos indicados (ILAC G13) cuando el proveedor no se encuentre acreditado.

Registro de Actividades

Finalmente, se debe registrar la evaluación del proveedor en función de los criterios establecidos y se debe calificar al mismo (aprobado/no aprobado) para operar con el laboratorio.

Más allá de la participación en el programa de EACI, se deben cumplimentar algunas actividades relacionadas, que solidifican el SGC del laboratorio. La evaluación de proveedores es una de ellas. Otra actividad sumamente importante es la interpretación adecuada de los informes de EACI. En los próximos tres posts: Evaluación de Resultados – Puntaje Z; Interpretación de los Informes de EACI – Parte 1; Interpretación de los Informes de EACI – Parte 2,  comenzaremos a abordar este tema.

Análisis Crítico de los Resultados - Parte 2

Herramientas de Análisis

Varias son las herramientas que podemos utilizar en el proceso de análisis de los resultados de EACI. Las herramientas aplicadas tienen que permitir realizar un análisis sistemático que permita relevar todos los aspectos críticos del proceso hasta encontrar la causa o causas del problema. A continuación se describen algunas de las herramientas aplicables.

Cartas de Control de Z-scores

Las cartas de control de z-score consisten en una representación gráfica de los resultados obtenidos en sucesivas rondas o participaciones en ensayos de aptitud. Estas cartas permiten detectar tendencias o desvíos sistemáticos que no necesariamente implican resultados insatisfactorios de desempeño.

Diagrama de Ishikawa

El Diagrama de Ishikawa, también llamado diagrama de causa-efecto, se trata de un diagrama que por su estructura ha venido a llamarse también: diagrama de espina de pescado. El mismo consiste en una representación gráfica sencilla en la que puede verse de manera relacional una especie de espina central, que es una línea en el plano horizontal, representando el problema a analizar, que se escribe a su derecha. Los diagramas de espina de pescado o Ishikawa permiten realizar el análisis de las posibles causas del problema, detallando diferentes aspectos dentro de un proceso.

Para la construcción de este diagrama se procede de la siguiente forma:

1.      Dibujar una línea horizontal que apunte hacia el problema.

2.      Describir brevemente y en forma concisa el problema, por ejemplo “Resultados Insatisfactorio en programa de EACI”.

3.      Dibujar líneas diagonales que se unan a la línea horizontal. Estas líneas representan las posibles categorías de causas.

4.      Escribir en forma sucinta las categorías.

5.      Realizar una lluvia de ideas (brainstorming) de posibles causas y relacionarlas a cada categoría.

6.      Preguntarse a cada causa ¿Por qué? No más de dos o tres veces.

7.      Clasificar las causas como de bajo o alto impacto y como fácil o difícil de implementar, como se indica en la matriz.

Lista de Verificación de los Control de Calidad Internos

Se pueden elaborar listas de verificación o diagramas de flujo que permita verificar el comportamiento de los controles de calidad internos que puedan indicar o señalar desviaciones en los procesos. Es importante evaluar los resultados de EACI teniendo en cuenta el comportamiento de los controles internos.

Los temas abordados en este, como en los anteriores posts, forman parte de la Guía Práctica Selección, participación e interpretación de EACI. En la guía se desarrollan estos y otros aspectos de los EACI profundizando los conceptos y la aplicación de las herramientas suministradas.

En el próximo post se desarrollará un aspecto clave en los requisitos para la acreditación de laboratorios: Evaluación de Proveedores de EACI.

Análisis Crítico de los Resultados-Parte 1

¿Qué resultados se deben analizar?

Cuando los resultados son satisfactorios, el laboratorio debe realizar un análisis crítico de estos resultados y establecer, de ser posible, oportunidades de mejora para el proceso.

Por otro parte, cuando los resultados son insatisfactorios o cuestionables, el laboratorio debe identificar la/s causa/s  y  decidir si aplica o no una acción correctiva. En estos casos, se debe documentar el análisis así como también las acciones correctivas llevadas adelante. Sin embargo, antes de tomar una acción correctiva se debe realizar un análisis detallado.

Se establece entonces, que se deben analizar todos los resultados sean éstos satisfactorio, insatisfactorios o cuestionables.

¿Cómo analizar los resultados de EACI?

Un buen procedimiento para llevar adelante un análisis crítico, consiste en definir los aspectos claves a investigar de forma de realizar un análisis sistemático y ordenado.  Para poder definir la calidad del problema, se puede establecer tres fuentes de información:

1.      Informe de EACI

2.      Otras Participaciones del laboratorio en EACI

3.      Controles de Calidad Internos

El Informe del EACI no solo señala el desempeño de un laboratorio sino que además establece el desempeño global de todos los participantes. Por ejemplo un desempeño insatisfactorio en un contexto donde la mayoría de los participantes del programa obtuvieron desempeños satisfactorios, no es lo mismo que un resultado insatisfactorio en un contexto donde varios participantes han obtenido desempeños pobres. Ambas situaciones deben analizarse seriamente. Además, un resultado satisfactorio en un contexto donde la mayoría de los participantes tiene desempeños pobres también debe ser analizado cuidadosamente.

En el análisis de causas se deben tener en cuenta los resultados obtenidos en sucesivas participaciones en EACI. Cuando se obtiene un desempeño insatisfactorio tras sucesivos resultados satisfactorios, se deben buscar aspectos que pudiesen diferir entre las condiciones de trabajos anteriores y actuales; y luego establecer si dichas condiciones pudieron o no afectar los resultados. Por otra parte cuando se obtienen sucesivos desempeños insatisfactorios se deberá evaluar cuidadosamente las acciones correctivas anteriores y la eficacia de las mismas. Sin embargo no son éstas las únicas circunstancias que ameritan estudios, también deberá considerarse:

·    Los resultados de cualquier ensayo que demuestren una clara tendencia hacia desempeños insatisfactorio en el tiempo para un determinado número de rondas.

·    Los resultados de cualquier ensayo en un número determinado de rondas que indiquen en forma clara y consistente sesgo de al menos un desvío estándar por encima o debajo del valor asignado aún cuando los resultados sean satisfactorios.

La tercera fuente de información, y no por ello menos importante, son los controles de calidad internos. El análisis de estos controles debe incluir la verificación de los siguientes aspectos:

·    Las muestras de control interno, ¿se encuentran bajo especificación?

·    Del tratamiento, almacenaje y manejo, ¿se ha manejado, almacenado y tratado la muestra remitida por el proveedor de EACI adecuadamente?

·    Del equipamiento, ¿se verifica en el equipamiento analítico la misma desviación detectada (positiva o negativa) en los parámetros del mismo?

·    Las condiciones del laboratorio (temperatura de almacenaje de las muestras, reactivos, centrífugas, refrigeradores y baños termostáticos) ¿Se encontraban bajo control estadístico?

·    ¿Fue el tratamiento de las muestras de control interno es diferente del de las muestras de rutina (agua, equipamiento, pipetas, mezclado, etc.)?

·    De los materiales de calibración y materiales de referencia (influencia de la partida o lote, preparación, almacenaje, comparar con otros materiales de calibración si es posible); ¿Se ha modificado lotes, partidas u otras condiciones de los materiales de referencia y/o materiales de calibración?

·    Verifica errores en: los cálculos, diluciones, transcripciones y errores de programas.

En este post Análisis Crítico de los Resultados-Parte 1, se dieron pautas y criterios  para el análisis de los resultados, en el próximo post Análisis Crítico de los Resultados-Parte 2 se discutirán algunas de las herramientas disponibles para llevar adelante un análisis de causas sistemático y organizado.