Que vous utilisiez un outil ETL ou codiez à la main votre système d'ETL, celui-ci est un logiciel comme les autres qui doit être documenté. De même que votre entrepôt de données évolue, le système ETL évolue également, et vous et vos collègues devez être en mesure de comprendre rapidement l'ensemble de l'architecture du système ainsi que ses petits détails.
Il ya un mythe répandu affirmant que les outils ETL sont auto-documentés. Ceci n'est vrai que pour la comparaison avec les systèmes développés manuellement. N'adhérez pas à ce mythe: vous avez besoin de développer une architecture globale et cohérente pour votre système ETL. Et vous devez documenter ce système. Oui , rédiger un document.
La première étape dans la construction d'un système ETL maintenable est de s'arrêter et de réfléchir à ce que vous faites. Comment pouvez-vous modulariser le système? Comment ces modules s'assemblent en un flux global? Développez votre système de manière à avoir un processus séparé, un flux, un module (ou quel que soit les termes utilisez par votre outil) pour chaque table de l'entrepôt de données. Rédigez un document qui décrit l'approche globale - cela peut être quelques pages, plus une ou deux captures d'écran.
Concevez un modèle de module et placez-y les activités communes ensemble. Le modèle doit identifier clairement les widgets associés aux extractions, aux transformations, aux tables de recherches, aux contrôles des données, à la gestion des dimensions, et au chargement final dans la table cible. Ensuite, documentez ce modèle de flux dans le détail, y compris les captures d'écran. La documentation doit se concentrer sur ce qui se passe, pas sur les propriétés détaillées de chaque étape ou tâche.
Ensuite, utilisez ce modèle pour construire les modules associés à chaque table de dimension et de fait. Si vous pouvez contrôler la mise en page de votre outil ETL, faites des modules qui se ressemblent, afin que les gens puissent regarder dans le coin supérieur gauche pour connaitre la logique de l'extraction, et puissent ainsi plus facilement comprendre le désordre au milieu. Les modules pour chaque table de dimension devraient vraiment être semblables les uns aux autres; de même pour les tables de faits. La documentation spécifique à la table devrait se concentrer sur ce qui est différent du modèle standard. Ne répétez pas les détails et mettez en évidence ce qui est important. Enrichissez votre système ETL avec des annotations, si votre outil ETL le permet.
Enfin, l'outil ETL peut supporter une certaine forme d'auto-documentation. Utilisez cette fonction, mais considérez la comme un annexe au document réel, car celle-ci peut être relativement succincte (captures d'écran) ou extrêmement détaillée (toutes les propriétés de tous les objets). De plus, ce n'est pas, d'après notre expérience, particulièrement utile.
Source originale: www.kimballgroup.com
Article original "Kimball Design Tip #65: Document your ETL system", publié le 6 mars 2005.
Aucun commentaire:
Enregistrer un commentaire