ELT signifie extract, load, transform (extraire, charger, transformer). Les données sont extraites des systèmes sources, chargées dans un entrepôt de données infonuagique sous une forme proche de l’originale, et seulement ensuite transformées en tables modélisées à l’aide de la puissance de calcul de l’entrepôt. C’est devenu l’approche par défaut une fois que les entrepôts infonuagiques ont rendu le stockage peu coûteux et les moteurs de requête assez rapides pour faire sur place le gros du travail de transformation.
Comment fonctionne
La mécanique repose sur les trois mêmes opérations que l’ETL, déplacées dans un ordre différent et à un endroit différent. Comme la transformation s’exécute à l’intérieur de l’entrepôt plutôt que sur un étage de traitement distinct, les données brutes chargées sont encore là après coup, et c’est ce qui rend un modèle réversible et une nouvelle question répondable sans nouvelle extraction.
Comparaison
L’ETL et l’ELT déplacent les mêmes données avec les trois mêmes opérations. Ce qui change, c’est l’endroit où s’exécute la transformation, et ce qui y survit.
| ETL | ELT | |
|---|---|---|
| Ordre | Extraire, transformer, puis charger | Extraire, charger, puis transformer |
| Où s’exécute la transformation | Un moteur de traitement distinct, avant l’entrepôt | À l’intérieur de l’entrepôt, en SQL |
| Ce qui est stocké | Seulement le résultat transformé | À la fois les données brutes chargées et le résultat modélisé |
| Changer la logique | Veut habituellement dire réextraire depuis la source | Réexécuter le SQL sur des données déjà chargées |
| Convient à | Exigences stables, filtrage lourd avant le chargement, règles strictes sur ce qui peut être stocké | Entrepôts infonuagiques, questions qui évoluent, sources nombreuses |
Quand votre entreprise en a besoin
- Vous consolidez plusieurs systèmes sources et les questions que vous poserez changent encore.
- Un changement de rapport veut actuellement dire demander à quelqu’un de réextraire depuis la source.
- Vous êtes déjà sur un entrepôt infonuagique et payez pour de la puissance de calcul que vous n’utilisez pas.
- Vous voulez que les analystes puissent retracer un chiffre jusqu’à l’enregistrement brut d’où il vient.
- Vos systèmes sources sont sollicités par des extractions répétées pour des rapports à peine différents.
Avantages et limites
- Les données brutes restent dans l’entrepôt, alors une transformation peut être corrigée ou refaite sans toucher au système source.
- De nouvelles questions trouvent souvent réponse à partir de données déjà chargées, plutôt qu’au moyen d’un nouveau projet d’intégration.
- La transformation, c’est du SQL, que bien plus de gens peuvent lire et réviser qu’un outil de transformation propriétaire.
- Le chargement et la transformation sont découplés, alors un modèle en échec n’oblige pas à tout réingérer.
- Vous stockez des données brutes, alors les coûts de stockage et de calcul sont réels et augmentent avec la rétention.
- Charger d’abord veut dire que des données personnelles ou réglementées atterrissent dans l’entrepôt avant d’être filtrées, ce qui doit être géré avec des contrôles d’accès et des règles de rétention plutôt qu’écarté d’avance.
- Sans discipline, l’entrepôt se remplit de tables brutes et de modèles à moitié finis. L’ELT déplace le travail de gouvernance plutôt que de l’éliminer.
- Les transformations s’exécutent selon un horaire, alors les tables modélisées accusent sur la source un retard égal à cet intervalle.
- L’ELT charge d’abord les données brutes dans l’entrepôt et les transforme là, en SQL, inversant l’ordre transformer-puis-charger de l’ETL.
- Son principal avantage est la réversibilité : les données brutes survivent au modèle, alors la logique peut changer sans nouvelle extraction.
- Le compromis, c’est le coût de stockage et la gouvernance, parce que les données brutes sont déjà arrivées et que l’accès et la rétention doivent être gérés délibérément.
Questions fréquentes
Quelle est la différence entre l’ETL et l’ELT?
L’ordre des deux dernières étapes, et l’endroit où s’exécute la transformation. L’ETL transforme les données sur un moteur distinct avant de les charger, et ne stocke que le résultat. L’ELT charge d’abord les données brutes dans l’entrepôt et les transforme là, en SQL, en gardant à la fois la version brute et la version modélisée.
L’ELT est-il toujours meilleur que l’ETL?
Non. L’ELT convient aux entrepôts infonuagiques et aux exigences changeantes. L’ETL reste la bonne réponse quand les données doivent être filtrées ou masquées avant même de pouvoir être stockées, ou quand la destination ne peut pas absorber les charges de transformation.
L’ELT demande-t-il un ingénieur de données?
Il demande quelqu’un qui sait écrire du SQL et penser en modèles. Les connecteurs gérés ont retiré presque tout le code sur mesure des étapes d’extraction et de chargement, mais la couche de transformation reste du travail d’ingénierie, même quand le langage est familier.
L’ELT est-il en temps réel?
Habituellement non. L’extraction comme la transformation s’exécutent selon un horaire, qu’il soit aux heures, de nuit ou défini par une expression cron, alors les tables modélisées ne sont fraîches que jusqu’à la dernière exécution. Le vrai streaming est une autre architecture.
BEEM utilise-t-il l’ELT?
Oui. BEEM se connecte à 750+ sources et les charge dans un entrepôt Amazon Redshift géré, où les tables brutes sont visibles dans le Datalake. La transformation se fait ensuite dans l’éditeur SQL du Warehouse, où chaque jeu de données est une requête que vous prévisualisez, versionnez et déployez selon un horaire, avec des assertions de test qui peuvent bloquer un mauvais rafraîchissement.