Description Réaliser les flux de données en batch (ETL ou ELT), en Data Warehouse automation (DWA) ou en flux continu (Data Streaming) Réaliser les traitements de données (nettoyage, correction, formatage, standardisation, transformation, enrichissement) pour les calculs et les mises en application des règles d’affaires Réaliser les traitements de validation de la qualité Réaliser les traitements de tests automatisés Documentation nécessaire et suffisante sur les processus réalisés Capacités de travail en équipe Travail en mode projet – livraison de l’équipe data de Logient Suivre les consignes de l’architecte de solutions analytiques et de l’architecte de données Capacités de travail dans un environnement infonuagique Maîtrise des méthodes de développement optimiser pour des environnements infonuagiques (minimiser les coûts des traitements et du développement sur de large volume) – réflexion d’optimisation à priori et non à posteriori Compétences en gestion de données Élaboration de flux optimiser en batch de type ETL et ELT Élaboration de flux optimiser en continu (Data Streaming) par gestion d’évenement ou par micro-batch Élaboration de flux d’insertion de données en gestion des SCD (slowly changing dimension) – historisation des changements – minimalement, en type 2 (historisation en ligne), 3 (historisation en colonne) et 4 (historisation en même temps en ligne et en colonne). Traitement élaborer pour charger un entrepôt de données (en Data Vault), un comptoir de données (en Star Schema ou en Snowflake Schema), ou un lac de données (fichiers parquet) Élaboration de traitements de validation de la qualité des données Élaboration de tests automatisés et récurrents Élaboration de traitements de calculs par partition au sein d’une base de données opérationnel et une base de données analytique Élaboration de traitements avec calculs géospatials Expériences Au moins 5 projets différents dans des entreprises de différentes tailles et différents secteurs d’activités, obligatoire Bilingue Anglais et Français Connaissances techniques Maîtrise d’Apache Kafka, obligatoire Maîtrise de Spark, obligatoire Maîtrise d’Azure Event Hub, obligatoire Maîtrise de Microsoft Fabric, obligatoire Maîtrise de Azure DevOps, obligatoire Maîtrise d’AWS Glue, un atout Maîtrise d’AWS EventBridge, un atout Maîtrise de SQL Server au sein d’Amazon RDS, un atout Maîtrise de l’environnement Azure, un atout Toute certification dans le domaine de l’ingénierie de donnée (Databricks, Matillion, Upsolver, Fivetran, etc.) ou du DWA (VaultSpeed, Astera, WhereScape, etc.) est un atout important