2022M102_P-092- Data Engineer
Description
SPW Digital construit un Référentiel des Entreprises destiné à devenir la source transversale de référence pour l’identification et la connaissance des entreprises. Le projet répond à la dispersion, la duplication et l’hétérogénéité actuelles des données dans de nombreuses applications métiers. Il vise à consolider les données, harmoniser les définitions, réduire les redondances et soutenir le principe « Only Once ». Le référentiel sera progressivement alimenté par des sources fédérales et wallonnes.
Le Data Engineer définit et met en œuvre les processus d’intégration, d’analyse, de contrôle qualité, de détection et de suivi des incohérences ainsi que de nettoyage des données. Il conçoit les mécanismes de consolidation, déduplication, gestion des conflits et traçabilité, et développe les flux nécessaires sur la plate-forme FME. La qualité est intégrée dès l’ingestion selon une logique de « quality by design ». FME et DataLift servent notamment à automatiser les contrôles et à maintenir des données fiables, complètes et réutilisables.
La mission comprend aussi le monitoring permanent de la qualité, la production d’indicateurs et de rapports, l’analyse des tendances et l’amélioration continue. Le consultant contribue à l’exploitation opérationnelle, à la résolution des incidents et à la documentation permettant la maintenance et la reprise par les équipes SPW Digital. Il coordonne techniquement le raccordement progressif des applications et contribue aux scénarios et campagnes de tests. Il travaille avec un chef de projet, un coordinateur technique, un analyste, la DGVD et le Centre de Service Virtualisation des Données.
Top Reasons to Apply
Référentiel stratégique SPW
Data quality avancée
Intégrations multi-sources
Impact service public
FME et DataLift
Detailed Responsibilities and Skills
Additional Responsibilities
- Concevoir suivi des incohérences
- Concevoir nettoyage des données
- Concevoir monitoring des processus
- Implémenter processus de données
- Tester processus de données
- Mettre en œuvre processus
- Gérer identifiant unique SPW
- Dédupliquer données entreprises
- Définir règles de consolidation
- Prioriser sources de données
- Gérer conflits de données
- Garantir vue consolidée entreprises
- Maintenir chaînes d’alimentation
- Respecter standards d’échange
- Définir règles de transformation
- Définir règles de normalisation
- Implémenter connecteurs d’intégration
- Implémenter flux d’intégration
- Garantir traçabilité des échanges
- Respecter standards d’architecture
- Valider formats de données
- Contrôler complétude des données
- Contrôler cohérence temporelle
- Croiser validation des sources
- Contrôler unicité des données
- Automatiser contrôles de qualité
- Faire évoluer validations
- Détecter anomalies du référentiel
- Détecter doublons de données
- Détecter valeurs aberrantes
- Détecter incohérences intersystèmes
- Détecter divergences des sources
- Définir indicateurs de qualité
- Définir tableaux de bord
- Produire rapports de problèmes
- Mesurer évolution des problèmes
- Classifier anomalies par criticité
- Prioriser actions correctrices
- Développer nettoyage automatisé
- Standardiser données du référentiel
- Normaliser données du référentiel
- Enrichir données du référentiel
- Corriger erreurs détectées
- Identifier causes racines
- Favoriser corrections à source
- Surveiller qualité des données
- Mesurer exactitude des données
- Mesurer complétude des données
- Mesurer cohérence des données
- Mesurer unicité des données
- Mesurer fraîcheur des données
- Mesurer conformité des données
- Analyser tendances de qualité
- Proposer améliorations techniques organisationnelles
- Résoudre incidents techniques données
- Documenter processus et outils
- Garantir maintenance évolutive
- Préparer reprise des dispositifs
- Coordonner raccordement des applications
- Analyser impacts des raccordements
- Définir scénarios de tests
- Contribuer campagnes de tests
Compétences générales
- Niveau T2 confirmé pour le rôle de Data Engineer ETL/ELT.
- Excellente maîtrise du français au niveau C2.
- Être prêt à se rendre sur site au minimum 60% du temps, voire davantage si nécessaire.
- Être dynamique et flexible.
- Disposer d’une bonne communication et d’assertivité.
- Adopter une approche pragmatique des problèmes et des solutions.
- Posséder de bonnes aptitudes de communication orale et écrite et pratiquer l’écoute active.
- Être orienté services et clients et savoir comprendre et répondre aux urgences et besoins des gestionnaires de données.
- Une expérience dans le secteur public est recherchée au travers des questions de candidature.
- Une expérience utile en gestion de projet au bénéfice de tiers est recherchée au travers des questions de candidature.
Compétences techniques
- Maîtrise théorique et pratique des outils ETL et de l’analyse de qualité, exigée au niveau T2 confirmé.
- Maîtrise des processus d’analyse et de conception des systèmes de gestion de bases de données, exigée au niveau T2 confirmé.
- Maîtrise théorique et pratique des processus de Data Quality Management, exigée au niveau T2 confirmé.
- Connaissance des principes de gouvernance de données, notamment DAMA, indiquée au niveau T1 Junior.
- Concevoir l’intégration, la transformation, la normalisation, la consolidation et la diffusion de données multi-sources.
- Définir et automatiser les contrôles de format, complétude, cohérence temporelle, validation croisée et unicité.
- Concevoir la détection des doublons, valeurs aberrantes, incohérences entre systèmes et divergences entre sources.
- Développer les processus de standardisation, normalisation, déduplication, enrichissement et correction des erreurs.
- Définir les indicateurs d’exactitude, complétude, cohérence, unicité, fraîcheur et conformité.
- Une expérience utile en modélisation et conceptualisation de données au bénéfice de tiers est recherchée au travers des questions de candidature.
- Une expérience utile en contrôle de qualité des données est recherchée au travers des questions de candidature.
Outils
- FME : connaissance théorique et pratique exigée, standard SPW, pour les chaînes d’alimentation, transformations et contrôles qualité.
- Talend : connaissance théorique et pratique exigée comme standard SPW.
- DataLift : outil DGVD de partage de données couvrant lecture des sources, documentation, modélisation, contrôle qualité et transformation des modèles.