ESPECIALISTA QUALIDADE IA
Grupo Profarma Ver todas as vagas
- Rio de Janeiro - RJ
- Permanente
- Período integral
- Garantir a qualidade, consistência e previsibilidade de soluções de IA antes e após o deploy;
- Criar e executar planos de teste funcionais, manuais e automatizados para modelos tradicionais e generativos;
- Definir e implementar frameworks de QA e automação de testes para IA;
- Executar testes de performance, segurança e robustez em guardrails de IA generativa;
- Conduzir auditorias de viés, ética, conformidade e aderência à LGPD;
- Avaliar métricas de performance (acurácia, precisão, recall, F1-score e consistência contextual);
- Monitorar e mitigar data drift e model drift em produção;
- Testar fluxos de prompts e agentes de IA quanto à coerência, factualidade e aderência ao contexto;
- Documentar resultados, riscos, planos de mitigação e relatórios executivos de qualidade;
- Propor melhorias contínuas e padronizar boas práticas de QA para IA corporativa;
- Atuar de forma colaborativa com times de Data Science, Engenharia de ML e Segurança da Informação;
- CI/CD e DevOps (GitHub Actions, Jenkins, Azure DevOps, GitLab CI)
- MLOps (MLflow, Kubeflow, Vertex AI)
- QA para IA Generativa (LangChain Testing, PromptLayer, OpenAI Evaluation API, LlamaIndex Evals)
- Avaliação de modelos e feedback humano (Human Feedback Loop, RLHF)
- Validação e monitoramento de dados (Great Expectations, Evidently AI, Data Validation)
- Monitoramento de performance e drift de modelos
- Observabilidade e métricas de IA (acurácia, custo, latência)
- Dashboards e visualização de dados (Power BI, Grafana, Metabase)
- Governança de dados e IA
- LGPD e segurança da informação
- Anonimização, rastreabilidade e ética em IA corporativa
- Pensamento analítico
- Atenção a detalhes
- Comunicação técnica e com stakeholders
- Visão crítica e orientação a qualidade
- Organização e gestão de múltiplos pipelines
- Trabalho colaborativo com times técnicos e de negócio
- Foco em melhoria contínua
- Ética e responsabilidade no uso de IA