Data Engineer

Un DWH et un pipeline ELT / ETL


Obtenez des données centralisées, fiables, accessibles et protégées.

Echangeons ensemble 🚀

Cadrage

Le volume de données, les contraintes métiers et budgétaires, les besoins d’analyses et de visualisations dépendent de votre organisation et conditionnent comment vos données doivent être gérées. Il s’agit ici de déterminer ensemble ce cadre qui vous est propre, pour obtenir in fine des données centralisées, de qualité, disponibles et sécurisées.

BesoinsOptimisation des coûtsModèle de données

Collecte et définition de vos besoins pour vous permettre d’analyser et visualiser vos données et ainsi répondre à vos exigences Business.

Cadrage des attentes quant à la qualité, la disponibilité et la sécurité attendue pour les données.

Conception d’un Data Warehouse et d’un processus ETL qui répond à votre budget.

Choix d’un modèle de données qui répond à vos besoins métiers.

Extraction

Les données sont éparpillées au sein de vos outils et services. Il s’agit ici de se connecter à toutes ces sources et d’extraire vos données selon vos besoins, partiellement ou intégralement, à la bonne fréquence.

Données structurées
  • Bases de données relationnelles
  • API / Web Service
  • Données issues de logiciels / applications
Données semi-structurées
  • XML
  • JSON
  • CSV, Excel, Google Sheets
  • Logs
  • …
Données non structurées
  • Fichiers textes
  • Questionnaires
  • Présentations (Powerpoint, Google Slides)
  • …

Chargement

Chargez les données extraites dans votre Data Warehouse pour les transformer.

Cette étape intervient avant la transformation pour les données structurées. Pour les autres données (semi-structurées et non structurées) elle intervient après la transformation car les données ont besoin d’être dans un format de type « table » pour être stockées dans votre Data Warehouse.

Transformation

dbt (Data Build Tool)

Ici réside le coeur du processus ETL. Des données brutes non retraitées sont sources d’erreurs et de complexité. En transformant vos données selon vos besoins, vous tirerez parti de données de qualité enrichies avec des informations cruciales pour l’entreprise.

Nettoyage
  • Déduplication
  • Suppression des données inutiles
  • Correction des données incorrectes ou incohérentes
Validation
  • Le bon format
  • Le bon type
  • La bonne plage
  • La bonne structure
Restructuration
  • Changement de format
  • Renommage de colonnes
  • Conversion de devises ou autres unités de mesure
  • Modification de chaînes de texte
Enrichissement
  • Identification des données manquantes et auto-complétion
  • Ajout de champs calculés (segmentation, scores…)
  • Trouver l’id d’un prospect / utilisateur / client inconnu
Agrégation
  • Données prêtes pour les dashboards
  • Données utilisables par n’importe qui

Structure des données

Environnements

Le Data Warehouse ne doit pas être une zone obscure réservée aux Data Engineer / Scientist / Analyst. Il doit correspondre aux usages de votre entreprise, et donc la structure et les noms employés doivent être compréhensibles par tous, que ce soit la Direction, le Marketing…

Il est important de conserver les données brutes en l’état dans votre Data Warehouse. Cela fait du Data Warehouse non seulement la source pour les données de qualité, mais également des données initiales. Vous vous assurez ainsi que tout le monde prend les données d’un endroit commun. 

Structurez votre Data Warehouse en 3 ensembles de données :

  • les données brutes – raw
  • les données intermédiaires (données techniques avant d’aboutir aux données propres) – temp
  • les données propres – clean

Puis utilisez un nommage qui parle à tous pour chaque élément retraité. Par exemple, la base nettoyée de vos contacts pourrait s’appeler “marketing_contacts”. Cette étape de nommage est cruciale pour que chacun s’approprie ces données et se sente légitime de les utiliser.

Documentation

Data Build Tool (dbt)

Une documentation de votre pipeline ELT / ETL est essentielle. Cela permet de vulgariser comment les données sont extraites, comment elles sont liées entre elles, comment elles sont transformées et chargées dans le Data Warehouse. C’est une sorte de mode d’emploi pour quiconque découvrirait ce processus, un nouveau Data Analyst qui vient de rejoindre vos équipes par exemple.

Sécurisation des données

IAM

Chacun a besoin de différentes données, et à un niveau de détail différent.

Sécurisez vos données pour, par exemple, offrir :

  • un accès à toutes les données (brutes, intermédiaires et nettoyées) à votre équipe Data
  • un accès aux données Marketing à l’équipe Marketing
  • un accès aux logs pour l’équipe Informatique
  • un accès aux KPIs macros pour l’ensemble de l’entreprise, afin d’avoir une vision partagée par tous au sein de l’entreprise

Mes réponses à vos questions (FAQ)

Une base de données classique (postgreSQL, MySQL…) est construite de telle sorte qu’elle optimise le stockage et la récupération des données en temps réel. A l’inverse, un Data Warehouse a pour but de stocker des données historisées et de permettre des analyses complexes sur ces données.

Un data Warehouse permet de stocker des données structurées (brutes et retraitées). A l’inverse, un Datalake permet de stocker n’importe quel type de données (structurées, semi-structurées, non structurées).

Un Data Warehouse est utilisé par l’intégralité de l’entreprise comme référence Data. Un Data Mart, lui, répond aux besoins spécifiques d’un département ou d’une équipe (le Marketing, la Finance…).

ETL est l’acronyme pour Extract, Transform et Load. A travers ce processus les données sont donc extraites des différentes sources, transformées selon les besoins de l’entreprise et chargées dans le Data Warehouse.

Selon les données en entrée, leur chargement au sein du Data Warehouse intervient après la transformation des données (pipeline ETL) ou avant la transformation des données (pipeline ELT).

Pour des données structurées, je recommande d’utiliser le processus ELT. Les données sont donc extraites (E), chargées dans le Data Warehouse (L) puis transformées (T). En stockant les données en l’état vous faites du Data Warehouse la source de toutes les données de l’entreprise (les données brutes et retraitées).

Pour des données semi-structurées ou non structurées, il est nécessaire d’utiliser le processus ETL. En effet un Data Warehouse ne permet pas de stocker des données semi ou non structurées. Une fois les données extraites (E), il faut immédiatement les transformer (T) pour les obtenir dans un format compatible avec le Data Warehouse, puis les charger dans le Data Warehouse (L) une fois retraitées.

Si vous avez à fois des données structurées, semi-structurées et non structurées, le pipeline sera donc une combinaison du processus ELT et du processus ETL.

DBT est l’acronyme de Data Build Tool. Cet outil facilite grandement la construction du pipeline. La gestion de l’environnement (test / prod) est intégrée, la documentation créée automatiquement. Voici plus de détails sur le site de DBT.

Je recommande de ne pas modifier les données d’entrée avant de les importer dans le Data Warehouse. Et ce pour deux raisons majeures :

  • vous connaissez les besoins métiers actuels, mais vous ne connaissez pas les besoins métiers futurs. Laissez-vous de la flexibilité en récupérant les données en l’état et en les transformant après coup en fonction des évolutions des besoins métiers.
  • votre Data Warehouse sera utilisé comme source de toutes les données, qu’elles soient brutes ou retraitées. Ce sera LA référence pour tous les collaborateurs.

Les deux. BigQuery est la solution développée par Google pour obtenir un Data Warehouse de qualité. C’était également initialement le nom du langage utilisé pour requêter le Data Warehouse (BigQuery est un SQL amélioré). Depuis peu Google a renommé le langage BigQuery en GoogleSQL, mais le terme BigQuery reste dans l’usage courant la désignation du langage et du Data Warehouse. Pour plus de détails voici la documentation Google sur BigQuery.

Si vous ne savez pas quelles transformations effectuer, une approche efficace est de commencer à utiliser les outils de visualisation des données directement sur vos données brutes du Data Warehouse. Ainsi vous allez très vite identifier certains problèmes de performance ou certaines requêtes qui font des jointures entre de nombreuses tables.

Vous pourrez alors :

  • agréger ces données directement dans le Data Warehouse grâce au pipeline ELT / ETL
  • préparer des vues qui correspondent aux utilisations fréquentes dans les dashboards

Plusieurs approches permettent de réduire les coûts de BigQuery :

  • partitionnez vos tables dans BigQuery et utilisez ce partitionnement dans vos requêtes (requêtes manuelles de vos collaborateurs et des dashboards). Voici la documentation BigQuery sur les tables partitionnées.
  • choisissez soigneusement pour chaque table la fréquence de mise à jour par le pipeline Data. Réduisez au maximum cette fréquence pour réduire les coûts du pipeline ETL. Par exemple, une donnée qui est regardée au mois n’aura pas intérêt à être recalculée chaque jour.
  • réduisez autant que possible le nombre de lignes dans chaque table. Vous pouvez notamment agréger les données lorsqu’une vue détaillée n’est pas utile.