Falsos positivos y negativos en FASIT

Este artículo explica los conceptos de falsos positivos y negativos en FASIT..

1 – El sistema FASIT y ADASH

El sistema de IA FASITO ADASH funciona implementando una serie de reglas en el análisis de señales realizado sobre señales de vibración medidas en máquinas.

Falsos positivos y negativos en FASIT – Figura 1 – Cómo funcionan las reglas de diagnóstico del sistema FASIT

A partir de los resultados de esta implementación, el sistema elabora diagnósticos y emite recomendaciones..

Falso positivo y negativo en FASIT - Figura 2 – Presentación del diagnóstico por el sistema FASIT AI

Los diferentes tipos de fallos se muestran en forma de iconos..

Falso positivo y negativo en FASIT - Figura 3 – Los diferentes tipos de averías están representados por iconos

Los ejemplos de Diagnóstico por análisis de vibraciones., mostrado abajo, puede ser llevado a cabo por analizadores de vibraciones de ADASH.

Falso positivo y negativo en FASIT - Figura 4 – Analizadores de vibraciones ADASH

2 – Falsos positivos y negativos

los términos “falso positivo” mi “falso negativo” Son métricas cruciales para evaluar la eficacia de cualquier sistema de diagnóstico., incluidos aquellos que utilizan inteligencia artificial para el mantenimiento predictivo. Se refieren a errores de clasificación que pueden tener consecuencias importantes para el funcionamiento y la seguridad..

Falso positivo y negativo en FASIT - Figura 5 – El concepto

Falso Positivo

Uno falso positivo ocurre cuando el sistema de IA indica incorrectamente que hay una falla en una máquina, Cuando, en realidad, el equipo esta en perfecto estado de funcionamiento. Es el equivalente a una falsa alarma..

Impacto en el mantenimiento predictivo:

Aunque a primera vista parezca inofensivo, un gran número de falsos positivos puede tener un impacto negativo considerable:

• Aumento de costos y desperdicio: Una alerta incorrecta puede dar lugar a intervenciones de mantenimiento innecesarias, lo que resulta en una pérdida de tiempo y trabajo. Las piezas que no necesitaban ser reemplazadas se pueden reemplazar, y se puede perder tiempo de producción debido a paradas injustificadas.
• Disminución de la productividad: Cuando se activa una alerta falsa, El equipo de mantenimiento necesita dedicar tiempo y recursos para verificar el problema inexistente.. Esto desvía la atención de otras tareas y puede perjudicar la eficiencia operativa..
• Desconfianza en el sistema: La recurrencia de falsas alarmas puede provocar una pérdida de confianza en la herramienta de IA, haciendo que los profesionales de mantenimiento comiencen a ignorar las alertas, incluso cuando son legítimos.

Falso Negativo

Uno falso negativo ocurre cuando el sistema de IA no logra detectar una falla que ya existe, clasificar una máquina defectuosa como en condiciones normales. El sistema ignora un problema crítico.

Falso positivo y negativo en FASIT - Figura 6 – Fallo de diagnóstico

Impacto en el mantenimiento predictivo:

Este tipo de error generalmente se considera mucho más peligroso que un falso positivo., especialmente para equipos críticos. Las consecuencias pueden ser graves.:

• Fallos catastróficos: Si el sistema no le avisa de un problema real, El fallo puede evolucionar hasta volverse catastrófico., provocando averías inesperadas, Interrupciones completas en la producción y grandes pérdidas financieras..³
• Riesgos de seguridad: En industrias donde la seguridad es primordial, un falso negativo puede provocar accidentes graves, poniendo en riesgo la integridad de los trabajadores.⁴
• Daño a la reputación: Los productos defectuosos que llegan al mercado debido a un falso negativo pueden causar daños importantes a la reputación de la marca y generar consecuencias legales en industrias reguladas..⁴

En resumen, mientras que los falsos positivos conducen principalmente a ineficiencia y desperdicio de recursos, los falsos negativos suponen un mayor riesgo, que puede resultar en daños financieros, operativos y de seguridad sustanciales. El objetivo de un sistema de mantenimiento predictivo de IA es, por lo tanto, Mantenga la tasa de ambos errores lo más baja posible., con tolerancia casi nula a los falsos negativos en equipos supercríticos.

3 – Ejemplos de falsos positivos y negativos

En la siguiente figura puede ver un ejemplo de un falso positivo generado por el sistema ADASH FASIT.. En este caso, se diagnosticó una desalineación en un rollo de una máquina de papel que giraba a 390 RPM, eso no sucedió.

Falso positivo y negativo en FASIT - Figura 6 – Ejemplo de falso positivo

4 – Cómo reducir los falsos positivos y negativos

Es fundamental comprender que no existe un porcentaje fijo de falsos positivos y falsos negativos que pueda esperarse del uso de IA en analizadores de vibraciones portátiles.. Este porcentaje varía significativamente dependiendo de varios factores.

Factores que influyen en las tasas de falsos positivos y falsos negativos:

1. Calidad y cantidad de datos de entrenamiento.:
2. Datos de alta calidad: el limpiador, completos y representativos son los datos utilizados para entrenar el modelo de IA, menor será la tasa de error. Datos ruidosos, incompletos o mal etiquetados conducen a modelos menos precisos.
3. cantidad de datos: Los modelos de IA necesitan una cantidad sustancial de datos (de vibraciones de máquinas sanas y con fallos diversos) para aprender patrones de manera efectiva. Muy pocos datos pueden dar como resultado un modelo que no se generaliza bien, errores crecientes.
4. Complejidad del modelo de IA y algoritmos utilizados:
5. Algoritmos más sofisticados y redes neuronales más profundas pueden, en teoría, capturar patrones más complejos y reducir errores, pero también requieren más datos y potencia informática.
6. La parametrización del modelo también es vital.. Un modelo mal ajustado puede ser demasiado sensible (muchos falsos positivos) o demasiado complaciente (muchos falsos negativos).
7. Tipo de falla y máquina:
8. Algunos tipos de fallas son más fáciles de detectar por vibración que otros (ex: El desequilibrio y la desalineación tienden a ser más claros que las pequeñas grietas internas.).
9. Las máquinas con comportamientos de vibración más predecibles y estables pueden tener tasas de error más bajas. Las máquinas con vibraciones intrínsecamente complejas o que funcionan en condiciones muy variables pueden ser más desafiantes.
10. Escenario Operacional y Ambiental:
11. Variaciones significativas en la carga de la máquina., velocidad, temperatura o incluso condiciones ambientales (ruido externo) puede presentar “ruido” en datos de vibración y confundir el modelo de IA, conduciendo a errores.
12. Definición de “Normal” mi “Anormal”:

La forma de definir qué es una vibración “normal” y el umbral para activar una alerta de advertencia “anomalía” influye directamente en las tasas de error.

• Falsos Positivos (FP): El sistema te avisa de una avería que no existe.
  • Causas: Modelo demasiado sensible, ruido en los datos, condiciones de funcionamiento no representadas en los datos de entrenamiento, o una anomalía que en realidad no es una falla crítica.
  • Impacto: Conduce a inspecciones y paradas innecesarias, perdiendo tiempo y recursos.
• Falsos negativos (FN): El sistema no logra detectar una falla real..
  • Causas: Modelo no entrenado para ese fallo., modelo demasiado complaciente, falla demasiado pequeña o sutil para ser detectada, o datos de mala calidad que oscurecen la señal de falla.
  • Impacto: Permite que las fallas progresen., lo que resulta en paradas no planificadas, mayor daño, Mayores costos de reparación y posibles riesgos de seguridad.. En entornos críticos, Un Falso Negativo es generalmente más problemático que un Falso Positivo..

6. Ajuste y optimización continuos:
7. Las tasas de error no son estáticas. Un sistema de IA monitorizado y optimizado continuamente (reentrenado con nuevos datos y ajustado por expertos) tenderá a reducir sus falsos positivos y negativos con el tiempo.

5 – La importancia de las expectativas realistas

Figura 6 – Expectativas y realidad

En lugar de un porcentaje específico, Es más útil pensar en rangos y objetivos.. Un sistema de IA bien implementado con datos de entrenamiento adecuados en mantenimiento predictivo puede apuntar a tasas de precisión superiores 90-95%. Sin embargo, cómo se distribuye esta precisión entre falsos positivos y falsos negativos es crucial:

• En aplicaciones de mantenimiento predictivo, El objetivo suele ser minimizar los falsos negativos., incluso si eso significa aceptar un número ligeramente mayor de falsos positivos. Es preferible que el sistema le avise de un problema que no existe (y hacerse revisar) que no detectar un problema grave que conduce a una falla catastrófica.
• Sistemas de IA de última generación, Bien calibrado y en ambientes controlados., puede lograr tasas de falsos negativos muy bajas, a veces menos que 1-5%. Las tasas de falsos positivos pueden variar un poco más, pero un buen sistema buscará mantenerlos en un nivel manejable para no sobrecargar a los equipos de mantenimiento.

Es esencial que quienes implementen la IA en los analizadores de vibraciones, comprender que la validación y el ajuste continuo son esenciales para optimizar el rendimiento del modelo y gestionar estas tasas de error de forma eficaz.