Ce rôle consiste à diriger la migration des flux de travail ETL basés sur SSIS vers une plateforme moderne de traitement et d'analyse de données native du cloud, utilisant Databricks. Il implique l'évaluation des systèmes existants, la conception d'architectures évolutives tirant parti de Databricks Lakehouse, Delta Lake et Spark, et l'optimisation des processus ETL pour la performance et l'évolutivité. Les responsabilités clés incluent la construction et la gestion de pipelines de données avec Python, SQL et Spark, l'intégration avec des plateformes cloud (Azure, AWS, GCP), et l'assurance des meilleures pratiques en matière de sécurité, de gouvernance et de conformité. Le rôle exige également une collaboration avec les parties prenantes pour comprendre les exigences commerciales et guider les équipes d'ingénierie tout au long de la migration et du dépannage.
Évaluer les packages SSIS existants et définir la feuille de route de migration vers les flux de travail Databricks.,Concevoir une architecture native du cloud tirant parti de Databricks Lakehouse, Delta Lake et Spark.,Optimiser les processus ETL pendant la migration pour l'évolutivité et la performance.,Construire et gérer des pipelines de données dans Databricks en utilisant Python, SQL et Spark.,Intégrer Databricks avec les plateformes cloud (Azure/AWS/GCP) et les systèmes d'entreprise.,Assurer les meilleures pratiques en matière de sécurité, de gouvernance et de conformité.,Travailler avec les parties prenantes pour comprendre les exigences commerciales et les contraintes techniques.,Guider les équipes d'ingénierie à travers l'exécution de la migration et le dépannage.,Fournir de la formation et de la documentation pour les opérations post-migration.
Solide expérience en SSIS et conception de processus ETL.,Expertise pratique avec Databricks, Spark, Delta Lake et l'architecture Lakehouse.,Maîtrise de Python, SQL et éventuellement Scala.,Compréhension approfondie des plateformes cloud (Azure préféré ; AWS/GCP acceptables).,Familiarité avec la gouvernance des données, la sécurité et les pipelines CI/CD (un atout).,Expérience avec l'Infrastructure as Code (Terraform, CloudFormation) et les outils d'automatisation (un atout).
CGI Inc. est l'une des plus importantes entreprises de services-conseils en technologie de l'information et en gestion au monde, offrant une gamme complète de services, notamment des conseils stratégiques, de l'intégration de systèmes et des services gérés. Fondée en 1976 et dont le siège social est à Montréal, l'entreprise exerce ses activités dans plus de 40 pays, aidant ses clients de divers secteurs à accélérer leur transformation numérique et à obtenir des résultats concrets.
BerryMap utilise des cookies pour fournir des fonctionnalités essentielles, analyser l'utilisation et améliorer votre expérience. Vous pouvez personnaliser vos préférences ci-dessous.