Ingénieur QA, Science des données

Concevoir et effectuer la validation de bout en bout des modèles d'apprentissage automatique et des solutions GenAI Agentique.,Valider les solutions GenAI Agentique, y compris le test des flux de travail des agents, l'utilisation des outils, la logique d'orchestration, les chemins de décision, et l'évaluation des sorties des LLM pour la précision, la cohérence, les biais, le risque d'hallucination et l'alignement avec les objectifs commerciaux.,Évaluer les garde-fous, les stratégies d'invite (prompt), les mécanismes de repli et la gestion des défaillances pour la GenAI.,Créer des tests de robustesse statistique et de performance pour les modèles entraînés et les systèmes GenAI, y compris des ensembles de données simulés qui reflètent des scénarios réels et des cas limites.,Développer des cadres d'évaluation automatisés pour mesurer la qualité des modèles et des agents, y compris la précision, le rappel, la stabilité, la dérive, la qualité des réponses et les KPI commerciaux.,Définir et suivre les métriques de qualité des données et des modèles, y compris la validation des données d'entrée, l'intégrité des caractéristiques et la fiabilité des sorties.,Tester et valider les modèles d'apprentissage automatique et les solutions GenAI Agentique à l'aide de Python et d'outils connexes, analyser les sorties et les comportements dans différents scénarios, produire des rapports de validation détaillés, déboguer les problèmes et proposer des actions correctives pour combler les lacunes méthodologiques, de données ou d'implémentation.,Collaborer avec les scientifiques des données pour comprendre en profondeur les pipelines de données, l'ingénierie des caractéristiques, les modèles, les invites (prompts) et les architectures d'agents.,Travailler avec les experts en la matière (PME) pour s'assurer que les modèles et les agents GenAI atteignent les objectifs énoncés et les tolérances au risque.,Rechercher continuellement de meilleures façons de tester, valider et surveiller les solutions grâce à l'automatisation, aux nouveaux outils et aux technologies émergentes.

[object Object]

Baccalauréat