ESPECIALISTA QUALIDADE IA

• Garantir a qualidade, consistência e previsibilidade de soluções de IA antes e após o deploy;
• Criar e executar planos de teste funcionais, manuais e automatizados para modelos tradicionais e generativos;
• Definir e implementar frameworks de QA e automação de testes para IA;
• Executar testes de performance, segurança e robustez em guardrails de IA generativa;
• Conduzir auditorias de viés, ética, conformidade e aderência à LGPD;
• Avaliar métricas de performance (acurácia, precisão, recall, F1-score e consistência contextual);
• Monitorar e mitigar data drift e model drift em produção;
• Testar fluxos de prompts e agentes de IA quanto à coerência, factualidade e aderência ao contexto;
• Documentar resultados, riscos, planos de mitigação e relatórios executivos de qualidade;
• Propor melhorias contínuas e padronizar boas práticas de QA para IA corporativa;
• Atuar de forma colaborativa com times de Data Science, Engenharia de ML e Segurança da Informação;

Hard Skills;

• CI/CD e DevOps (GitHub Actions, Jenkins, Azure DevOps, GitLab CI)
• MLOps (MLflow, Kubeflow, Vertex AI)
• QA para IA Generativa (LangChain Testing, PromptLayer, OpenAI Evaluation API, LlamaIndex Evals)
• Avaliação de modelos e feedback humano (Human Feedback Loop, RLHF)
• Validação e monitoramento de dados (Great Expectations, Evidently AI, Data Validation)
• Monitoramento de performance e drift de modelos
• Observabilidade e métricas de IA (acurácia, custo, latência)
• Dashboards e visualização de dados (Power BI, Grafana, Metabase)
• Governança de dados e IA
• LGPD e segurança da informação
• Anonimização, rastreabilidade e ética em IA corporativa

Soft Skills;

• Pensamento analítico
• Atenção a detalhes
• Comunicação técnica e com stakeholders
• Visão crítica e orientação a qualidade
• Organização e gestão de múltiplos pipelines
• Trabalho colaborativo com times técnicos e de negócio
• Foco em melhoria contínua
• Ética e responsabilidade no uso de IA