La pile de données moderne (modern data stack) est une architecture infonuagique assemblée à partir de services spécialisés et interchangeables plutôt que d’une seule plateforme monolithique. Ses couches habituelles sont l’ingestion, un entrepôt de données infonuagique, une couche de transformation, puis la BI ou l’analytique par-dessus, l’entrepôt servant de centre commun. C’est un modèle plutôt qu’un produit, et deux organisations peuvent toutes deux exploiter une pile de données moderne sans avoir un seul fournisseur en commun.
Comment fonctionne
Ce qui tient la pile ensemble, c’est l’entrepôt. Les outils d’ingestion y écrivent, la transformation s’exécute dedans, et tous les outils de consultation y lisent, ce qui explique qu’une couche puisse être remplacée sans tout reconstruire autour. On décrit habituellement les couches comme l’ingestion, le stockage, la transformation et la consommation, la gouvernance, l’orchestration et la surveillance de la qualité les traversant toutes plutôt que de se situer à un seul point de la chaîne.
Comparaison
On définit habituellement la pile de données moderne par rapport à ce qu’elle a remplacé : la plateforme d’un seul fournisseur couvrant toute la chaîne, tournant sur du matériel qui vous appartenait.
| Plateforme monolithique traditionnelle | Pile de données moderne | |
|---|---|---|
| Forme | Un seul fournisseur, de l’ingestion aux rapports | Des services spécialisés par couche, reliés par l’entrepôt |
| Où ça tourne | Matériel sur site, capacité achetée d’avance | Services infonuagiques, capacité facturée à l’usage |
| Changer un composant | Un projet de replateformage | Remplacer une couche, laisser le reste en place |
| Délai avant la première valeur | Des mois, approvisionnement et installation compris | Des jours à des semaines, à partir d’une seule source |
| Coût principal | Licences et matériel, payés avant l’usage | La consommation, plus le travail d’intégration entre les outils |
Quand votre entreprise en a besoin
- Vos rapports dépendent d’exports de plusieurs systèmes réconciliés à la main.
- La plateforme actuelle ne peut pas être modifiée à un seul endroit sans lancer un projet.
- Vous devez ajouter une source et l’estimation honnête se compte en mois.
- La capacité doit être achetée d’avance pour une demande que vous ne pouvez pas prévoir.
- Les équipes d’affaires ont dépassé les feuilles de calcul, mais il n’y a pas de source commune et encadrée vers laquelle les déplacer.
Avantages et limites
- Chaque couche peut être choisie et remplacée selon ses propres mérites, alors une mauvaise décision n’est pas permanente.
- Les coûts suivent l’usage plutôt que la capacité achetée d’avance.
- Les connecteurs gérés et les entrepôts infonuagiques retirent presque tout le travail d’infrastructure, alors une petite équipe peut l’exploiter.
- Un seul entrepôt au centre donne à tous les outils les mêmes chiffres à lire.
- Plus de fournisseurs veut dire plus de contrats, plus de revues de sécurité et plus d’endroits d’où une défaillance peut partir.
- L’intégration entre les couches devient votre responsabilité, parce que personne ne vous vend les jointures.
- La tarification à l’usage est souple, mais peut être imprévisible, en particulier quand les transformations s’exécutent souvent sur de grandes tables.
- Le modèle suppose l’infonuagique, alors là où les données ne peuvent pas quitter un territoire ou un immeuble, des pans entiers sont difficiles à appliquer.
- « Pile de données moderne » est autant un terme de marketing qu’une architecture, et l’étiquette ne dit rien sur la qualité de conception d’un assemblage donné.
- La pile de données moderne est un modèle : des services infonuagiques spécialisés pour l’ingestion, l’entreposage, la transformation et la BI, réunis à l’entrepôt.
- Son avantage est la modularité, puisque les couches peuvent être remplacées une à une au lieu de replateformer.
- Son coût, c’est le travail d’intégration et la prolifération de fournisseurs, ce qui explique que les plateformes couvrant plusieurs couches à la fois soient devenues courantes.
Questions fréquentes
Quelles sont les couches de la pile de données moderne?
Habituellement quatre : l’ingestion, qui sort les données des systèmes sources; un entrepôt de données infonuagique pour le stockage et le calcul; la transformation, qui modélise les données brutes en tables utilisables, normalement en SQL; et la consommation, c’est-à-dire la BI, les tableaux de bord et l’analytique. La gouvernance, l’orchestration et la surveillance de la qualité traversent les quatre.
La pile de données moderne est-elle encore moderne?
Le terme date du milieu des années 2010 et l’architecture est aujourd’hui répandue plutôt que nouvelle. Ce qui a le plus changé récemment, c’est la consolidation, plusieurs couches venant d’un même fournisseur, et l’ajout de l’interrogation assistée par l’IA par-dessus le même entrepôt.
Une petite entreprise a-t-elle besoin d’une pile de données moderne?
Pas d’une grosse. Le modèle se réduit bien, et un entrepôt, une poignée de connecteurs et un outil de BI, c’est déjà une pile de données moderne. Ce qui compte, c’est l’architecture, pas le nombre de fournisseurs.
La pile de données moderne est-elle la même chose que l’ELT?
Non, mais les deux sont arrivés ensemble. L’ELT est la séquence, c’est-à-dire charger d’abord les données brutes et les transformer à l’intérieur de l’entrepôt. La pile de données moderne est l’architecture plus large que cette séquence a rendue praticable.
Quelle est la principale critique de la pile de données moderne?
La fragmentation. Assembler cinq ou six outils crée du travail d’intégration, des factures qui se recoupent et une responsabilité floue quand quelque chose brise, ce qui explique que bien des équipes préfèrent maintenant une plateforme couvrant plusieurs couches à la fois.
Où BEEM se situe-t-il dans la pile de données moderne?
BEEM couvre plusieurs couches dans une seule plateforme : l’ingestion par 750+ connecteurs, un entrepôt Amazon Redshift géré, la transformation SQL avec versionnage et tests, les tableaux de bord et les questions en langage courant avec AI Insights, ainsi que des flux de reverse ETL qui repoussent les résultats modélisés vers les outils opérationnels. Il se connecte aussi aux outils de BI existants comme Power BI, Tableau et Looker plutôt que de les remplacer.