Falsos positivos e negativos no FASIT

ByCarlos Aroeira

Neste artigo explicam-se os conceitos de falsos positivos e negativos no FASIT.

1 – O sistema FASIT da ADASH

O sistema de IA FASIT da ADASH funciona através da implementação se uma série de regras na análise de sinal efetuada aos sinais de vibrações medidos nas máquinas.

Falsos positivos e negativos no FASIT - Figure 1

Falsos positivos e negativos no FASIT – Figure 1 – Modo como funcionam as regras de diagnóstico do sistema FASIT

A partir dos resultados desta implementação o sistema elabora diagnósticos e emite recomendações.

Falsos positivos e negativos no FASIT - Figure 2

Falsos positivos e negativos no FASIT – Figura 2 – A apresentação do diagnóstico pelo sistema de IA FASIT

Os diferentes tipos de avarias são apresentados sob a forma de ícones.

Falsos positivos e negativos no FASIT – Figura 3 – Os diferentes tipos de avarias são representados por icones

Os exemplos de diagnóstico por análise de vibrações, presented below, podem ser efetuados pelos vibration analyzers from ADASH.

Falsos positivos e negativos no FASIT – Figura 4

Falsos positivos e negativos no FASIT – Figura 4 – Analisadores de vibrações da ADASH

2 – Falsos positivos e negativos

Os termos “falso positivo” e “falso negativo” são métricas cruciais na avaliação da eficácia de qualquer sistema de diagnóstico, incluindo aqueles que utilizam a inteligência artificial para a manutenção preditiva. Eles referem-se a erros na classificação que podem ter consequências significativas para a operação e segurança.

Falsos positivos e negativos no FASIT – Figura 5 – O conceito

Falso Positivo

One falso positivo ocorre quando o sistema de IA indica incorretamente que há uma falha em uma máquina, When, na realidade, o equipamento está em perfeitas condições de funcionamento. É o equivalente a um alarme falso.

Impacto na Manutenção Preditiva:

Embora pareça inofensivo à primeira vista, um alto número de falsos positivos pode ter um impacto negativo considerável:

  • Aumento de Custos e Desperdício: Um alerta incorreto pode levar a intervenções de manutenção desnecessárias, resultando em desperdício de tempo e mão de obra. Peças que não precisavam ser trocadas podem ser substituídas, e o tempo de produção pode ser perdido devido a paradas não justificadas.
  • Diminuição da Produtividade: Quando um alerta falso é acionado, a equipe de manutenção precisa dedicar tempo e recursos para verificar o problema inexistente. Isso desvia o foco de outras tarefas e pode prejudicar a eficiência operacional.
  • Desconfiança no Sistema: A recorrência de alarmes falsos pode levar a uma perda de confiança na ferramenta de IA, fazendo com que os profissionais de manutenção comecem a ignorar os alertas, mesmo quando eles são legítimos.

Falso Negativo

One falso negativo ocorre quando o sistema de IA falha em detetar uma falha que já existe, classificando uma máquina com defeito como estando em condição normal. O sistema ignora um problema crítico.

Falsos positivos e negativos no FASIT – Figura 6 – Falha no diagnóstico

Impacto na Manutenção Preditiva:

Este tipo de erro é geralmente considerado muito mais perigoso do que o falso positivo, especialmente para equipamentos críticos.As consequências podem ser severas:

  • Falhas Catastróficas: Se o sistema não alerta sobre um problema real, a falha pode evoluir até se tornar catastrófica, levando a quebras inesperadas, interrupções completas na produção e grandes perdas financeiras.3
  • Riscos de Segurança: Em indústrias onde a segurança é primordial, um falso negativo pode levar a acidentes graves, pondo em risco a integridade dos trabalhadores.4
  • Dano à Reputação: Produtos com defeito que chegam ao mercado devido a um falso negativo podem causar danos significativos à reputação da marca e gerar consequências legais em indústrias regulamentadas.4

In short, enquanto os falsos positivos levam principalmente à ineficiência e desperdício de recursos, os falsos negativos representam um risco maior, podendo resultar em danos financeiros, operacionais e de segurança substanciais. A meta de um sistema de manutenção preditiva com IA é, therefore, manter a taxa de ambos os erros o mais baixa possível, com uma tolerância quase nula para falsos negativos em equipamentos supercríticos.

3 – Exemplos de falsos positivos e negativos

Na figura a seguir apresentada pode-se ver um exemplo de um falso positivo gerado pelo sistema FASIT da ADASH. Neste caso foi diagnosticado um desalinhamento numa rolo de uma máquina de papel a rodar a 390 RPM, que não ocorria.

Falsos positivos e negativos no FASIT – Figura 6 – Exemplo de falso positivo

4 – Como se minoram os falsos positivos e negativos

É crucial entender que não existe uma percentagem fixa de falsos positivos e falsos negativos que se pode esperar da utilização de IA em analisadores de vibração portáteis. Essa percentagem varia significativamente dependendo de vários fatores.

Fatores que influenciam as taxas de falsos positivos e falsos negativos:

  1. Qualidade e quantidade dos dados de treino:
  2. Dados de alta qualidade: Quanto mais limpos, completos e representativos forem os dados usados para treinar o modelo de IA, menor será a taxa de erros. Dados com ruído, incompletos ou mal rotulados levam a modelos menos precisos.
  3. Quantidade de dados: Modelos de IA precisam de uma quantidade substancial de dados (de vibrações de máquinas saudáveis e com falhas diversas) para aprenderem padrões de forma eficaz. Poucos dados podem resultar num modelo que não generaliza bem, aumentando os erros.
  4. Complexidade do modelo de IA e algoritmos utilizados:
  5. Algoritmos mais sofisticados e redes neurais mais profundas podem, em teoria, capturar padrões mais complexos e reduzir erros, mas também exigem mais dados e poder computacional.
  6. A parametrização do modelo também é vital. Um modelo mal ajustado pode ser excessivamente sensível (muitos falsos positivos) ou demasiado complacente (muitos falsos negativos).
  7. Tipo de Falha e Máquina:
  8. Alguns tipos de falhas são mais fáceis de detetar pela vibração do que outros (ex: desequilibrio e desalinhamento tendem a ser mais claros do que pequenas fissuras internas).
  9. Máquinas com comportamentos de vibração mais previsíveis e estáveis podem ter taxas de erro mais baixas. Máquinas com vibrações intrinsecamente complexas ou que operam sob condições muito variáveis podem ser mais desafiadoras.
  10. Cenário Operacional e Ambiental:
  11. Variações significativas na carga da máquina, velocity, temperatura ou mesmo condições ambientais (ruído externo) podem introduzir “ruído” nos dados de vibração e confundir o modelo de IA, levando a erros.
  12. Definição do “Normal” e “Anormal”:

A forma como se define o que é uma vibração “normal” e o limiar para acionar um alerta de “anormalidade” influencia diretamente as taxas de erro.

  • Falsos Positivos (FP): O sistema alerta para uma falha que não existe.
    • Causas: Modelo excessivamente sensível, ruído nos dados, condições operacionais não representadas nos dados de treino, ou uma anomalia que não é de facto uma falha crítica.
    • Impacto: Leva a inspeções e paragens desnecessárias, desperdiçando tempo e recursos.
  • Falsos Negativos (FN): O sistema falha em detetar uma falha real.
    • Causas: Modelo não treinado para aquela falha, modelo demasiado complacente, falha muito pequena ou subtil para ser detetada, ou dados de baixa qualidade que obscurecem o sinal da falha.
    • Impacto: Permite que as falhas progridam, resultando em paragens não planeadas, danos maiores, custos de reparação mais elevados e potenciais riscos de segurança. Em ambientes críticos, um Falso Negativo é geralmente mais problemático do que um Falso Positivo.
  1. Ajuste e Otimização Contínua:
  2. As taxas de erro não são estáticas. Um sistema de IA que é monitorizado e continuamente otimizado (retreinado com novos dados e ajustado por especialistas) tenderá a reduzir os seus falsos positivos e negativos ao longo do tempo.

5 – A importância das expectativas realistas

Figure 6 – Expetativas e realidade

Em vez de uma percentagem específica, é mais útil pensar em intervalos e objetivos. Um sistema de IA bem implementado e com dados de treino adequados em manutenção preditiva pode almejar taxas de precisão acima de 90-95%. However, a forma como essa precisão se distribui entre falsos positivos e falsos negativos é crucial:

  • Em aplicações de manutenção preditiva, o objetivo é frequentemente minimizar os falsos negativos, mesmo que isso signifique aceitar um número ligeiramente maior de falsos positivos. É preferível que o sistema alerte para um problema que não existe (e seja verificado) do que falhar em detetar um problema grave que leva a uma falha catastrófica.
  • Sistemas de IA de ponta, bem calibrados e em ambientes controlados, podem atingir taxas de falsos negativos muito baixas, por vezes inferiores a 1-5%. As taxas de falsos positivos podem variar um pouco mais, mas um bom sistema procurará mantê-las em um nível manejável para não sobrecarregar as equipas de manutenção.

É fundamental que quem implementa IA em analisadores de vibração, entenda que a validação e o ajuste contínuo são essenciais para otimizar o desempenho do modelo e gerir essas taxas de erro de forma eficaz.

Similar Posts