lundi 24 février 2014

Conseil 61: Traiter toutes les dates

Il n'est pas exceptionnel d'identifier des douzaines de dates différentes, chacune ayant un sens métier qui doit être pris en compte dans la conception dimensionnelle. Par exemple, dans un établissement financier, vous pouvez avoir affaire à la date de dépôt, la date de retrait, la date de financement, consulter la date d'écriture, la date de traitement, la date d'ouverture de compte, la date de validité d'une carte, la date de lancement d'un produit, la date de début d'une promotion, la date de naissance d'un client, une plage de dates pour les chargements et l'état du mois.

La première chose à savoir est que toutes les dates ne sont pas créées et traitées de la même manière. Beaucoup de dates finissent comme clés étrangères de la dimension Date dans les tables de faits. La plupart des dates restantes deviennent des attributs d'autres dimensions. Enfin, certaines dates sont inclues dans la conception pour faciliter le traitement ETL et/ou les capacités d'audit.

lundi 17 février 2014

Conseil 59: Le profilage de données (ou data profiling)

Le profilage de données est une petite partie de l'entrepôt de données. Je suppose que la plupart d'entre nous pensent que c'est une tâche qui se fait après que les traitements ETL aient été construit. De ce point de vue, le profilage des données correspond à la recherche des petites anomalies présentes dans les données et qui pourraient être corrigées avant la production réelle de celles-ci. Trouver ces anomalies aiderait l'équipe décisionnelle à anticiper quelques surprises en production.

Durant l'année passée, j'ai longuement réfléchit aux processus ETL d'administration nécessaires pour construire un entrepôt de données. Peut être la plus grande révélation de ce travail fut de découvrir combien le profilage des données est sous estimé dans la majorité des projets décisionnels.

Qu'est ce que le profilage de données?

lundi 10 février 2014

Conseil 58: Le portail décisionnel

Le succès d'un système décisionnel dépend de la capacité qu'a l'organisation a en tirer de la valeur. De toute évidence, les gens doivent utiliser l'environnement pour que l'organisation puisse créer de la valeur. Puisque le portail décisionnel est le principal point d'interaction (le seul dans de nombreux cas), l'équipe décisionnelle doit veiller à ce que ca soit une expérience positive.

Trop souvent, la page d'accueil du portail décisionnel se concentre en grande partie sur l'historique de l'entrepôt de données, l'état actuel des processus de chargement, ou les membres de l'équipe décisionnelle. Ce sont des renseignements intéressants, mais généralement ce n'est pas ce que les utilisateurs recherchent. Le portail décisionnel est l'interface entre l'utilisateur et l'entrepôt de données. Il doit être conçu en fonction des besoins des utilisateurs avant tout. Il y existe deux concepts de base pour la conception de sites Web qui peuvent nous aider: la densité et la structure.

Densité
L'esprit humain peut recevoir une quantité incroyable d'informations. L'œil humain est capable de distinguer des images d'une résolution d'environ 530 pixels par pouce à une distance de 20 pouces (RN Clark). Comparez cela avec les pauvres 72 pixels par pouce des écrans d'ordinateurs classiques. Nos cerveaux traitent l'information rapidement à la recherche d'éléments pertinents. Cette combinaison de l'acuité visuelle et de la capacité mentale est ce qui a permis à nos ancêtres de se sortir des différentes menaces; des prédateurs pour les branches basses à un couteau dans une bagarre dans un bar. Le navigateur nous donne une telle plate-forme basse résolution que nous devons l'utiliser avec autant de soin et efficacement que possible. Cela signifie que nous devons remplir les pages du portail décisionnel avec le plus d'informations possible. Mais nous ne pouvons pas charger des centaines de descriptions et de liens désordonnés.

Structure
Notre cerveau peut saisir toutes ces informations que si elles sont organisées. Puisque la principale raison qui pousse les utilisateurs à venir sur ​​le portail décisionnel est de trouver des informations, un grand pourcentage de la page d'accueil devrait être consacré à la catégorisation des rapports et analyses standardisés d'une manière qui fait sens pour les gens. Généralement, nous trouvons que la meilleure organisation du portail décisionnel est autour des principaux processus métiers de l'organisation. Les catégories de processus métier permettent aux utilisateurs d'identifier rapidement le choix le plus pertinent. Dans chaque catégorie, il existe des sous-catégories, permettant à l'utilisateur d'analyser rapidement la page d'accueil pour trouver de l'information qui l'intéresse.

Par exemple, la page d'accueil du portail décisionnel d'une université pourrait contenir les catégories suivantes:


Admissions                       Employés                                           Finances
Anciens élèves                  Recrutement                                       Recherche


Chacun de ces liens renvoit vers une autre page qui fournit des éléments supplémentaires et des liens vers les rapports. Nous pouvons augmenter la densité de l'information en plaçant les sous catégories sur la page d'accueil:

Admissions                              Suivi des employés                              Recrutement
- Statistiques                            - Effectifs                                            - Inscription
- Offres et acceptation              - Avantages et vacances                     - Professeurs
- Aide financière                       -                                                        - Diplômes

Augmenter de la densité de cette manière permet de détailler chaque catégorie et d'affiner le choix de l'utilisateur avant qu'il clique. Une façon de tester votre page d'accueil est de mesurer le pourcentage de la page qui est visible (avec un navigateur en plein écran sur un écran de taille moyenne) et qui permet aux utilisateurs d'accèder à l'information. Il doit être d'au moins 50%. Certaines personnes affirment que la cible devrait être plus proche de 90%.

Plus de structure
Les catégories aident à structurer le contenu, mais le site web a également besoin d'être organisé correctement. Il a donc besoin d'un design standard, normalement basé sur la charte visuelle de l'organisation afin que les utilisateurs puissent naviguer facilement.

Plus de contenu
Bien que l'objectif premier du portail décisionnel est de fournir un accès aux rapports, il doit également montrer plus d'information. En plus des catégories et de la liste des rapports, nous avons besoin de fournir un accès à un ensemble d'outils et d'informations comprenant:
- un outil de recherche qui indexe chaque rapport, document et page du portail
- un navigateur de métadonnées
- une formation en ligne, des tutoriels, des exemples de rapports, une aide
- un formulaire de demande d'aide, et une liste de contacts
- les statuts, guides, sondages, installations et autres informations administratives
- peut être un outil de type forum, d'échange en ligne
- des fonctionnalités de personnalisation qui permettent aux utilisateurs de sauvegarder des rapports ou des liens vers ceux-ci dans leur propre page

Cette information se place en bas à droite de la page, l'endroit le moins important de l'écran.

Construire un portail décisionnel efficace représente une somme importante de travail, mais c'est le maillon clé dans la chaine de valeur de l'entrepôt de données. Chaque mot, entête, description, fonction et lien de ce portail doit pointer vers le contenu de l'entrepôt. Vous devriez passer en revue la conception et tester le portail avec les utilisateurs, demandez leur de trouver certains rapports et d'autres informations. Assurez-vous que vous ne construisez pas de lien bizarre.


Source originale: www.kimballgroup.com
Article original "Kimball Design Tip #58: The BI portal (also known as the data warehouse web site", publié le 26 août 2004.

lundi 3 février 2014

Conseil 57: Traiter les faits qui arrivent en avance

Les entrepôts de données sont généralement construits autour de l'hypothèse idéale que l'activité mesurée (les enregistrements des faits) arrive dans l'entrepôt de données en même temps que le contexte qui lui est associé (les enregistrements des dimensions). Lorsque nous avons à la fois les enregistrements des faits et ceux des dimensions corrects, nous avons le luxe de comptabiliser les clés de la dimension en premier, puis d'utiliser celles-ci dans les enregistrements de la table de faits qui l'accompagne.

Fondamentalement, trois choses peuvent se produire quand nous comptabilisons les enregistrements de la dimension.
  1. Si l'entité de la dimension (par exemple Client) est un nouveau membre de la dimension, nous attribuons une nouvelle clé de substitution dans la dimension.
  2. Si l'entité de la dimension est une version révisée d'un client, nous utilisons la technique de la dimension à évolution lente de type 2 pour attribuer une nouvelle clé de substitution et stocker la description du client qui a été mis à jour dans un nouvel enregistrement de la dimension.
  3. Enfin, si le client est un élément familier et inchangé de la dimension, nous utilisons simplement la clé de la dimension que nous avons déjà pour ce client.

lundi 27 janvier 2014

Conseil 55: Explorer des faits textuels

Dans cet article, nous revenons sur un concept fondamental qui déconcerte de nombreux modélisateurs décisionnels: les faits de type texte.

Certains d'entre vous observerons à juste titre que les faits de type texte sont un oxymore de la modélisation décisionnelle. Toutefois, nous avons souvent à répondre aux questions de clients et d'étudiants sur des champs indicateur, type ou commentaire qui semblent appartenir à la table de faits, mais dont les valeurs ne sont pas assimilées à des clés, des mesures ou des dimensions dégénérées.

lundi 20 janvier 2014

Conseil 54: Fournir la vue courante et la vue historique d'une dimension

Comme la plupart des choses dans la vie, le changement est inévitable, même avec les attributs des dimensions. La plupart de nos lecteurs sont familiers avec les trois techniques de dimension à évolution lente (SCD):
  • Type 1: Remplacement d'attribut 
  • Type 2: Ajout d'une autre ligne dans la dimension 
  • Type 3: Ajout d'un autre attribut dans la dimension

Quand des attributs de dimensions changent, nous sommes souvent sollicités pour conserver leurs valeurs précédentes, ainsi que pour fournir la possibilité de croiser les faits historiques avec les valeurs courantes des attributs. La demande pour cette aptitude augmente au fur et à mesure que les utilisateurs mûrissent leurs analyses. Il y a vingt ans, les analystes étaient satisfaits d'avoir des tables de dimensions qui étaient rafraîchies (écrasé) avec les valeurs d'attributs courantes à chaque chargement. Puis le mouvement c'est inversé pour capturer avec précision tous les changements en utilisant les dimensions à évolution lente de type 2. Maintenant, plus de gens veulent avoir le beurre et l'argent du beurre.

lundi 13 janvier 2014

Conseil 53: Embellissement de dimension (mini-dimension et agrégation)

Lors du développement de modèles dimensionnels, nous nous efforçons de créer des tables de dimensions solides composées d'un ensemble d'attributs descriptifs. Plus les attributs que nous intégrons dans ces dimensions sont pertinents, plus les utilisateurs sont capables d'évaluer leurs activités par des voies nouvelles et créatives. Cela est particulièrement vrai lors de la construction d'une dimension centrée sur le client.

Nous vous encourageons à intégrer le capital intellectuel dans les modèles dimensionnels. Plutôt que d'appliquer des règles métiers aux données au niveau de l'analyse (souvent en utilisant Excel), les dérivations et les regroupements nécessaires par l'entreprise doivent être capturés dans les données pour qu'elles soient cohérentes et facilement partagées entre les analystes indépendamment de leurs outils. Bien sûr, cela nécessite de comprendre ce que l'entreprise fait avec les données avant et après leurs capture dans la source opérationnelle. Cependant, c'est grâce à cette compréhension et l'ajout d'attributs dérivés (et de mesures) que l'entrepôt de données apporte une valeur ajoutée.

lundi 6 janvier 2014

Conseil 52: Améliorons nous procédures opérationnelles

Dans ma carrière, j'ai été en mesure d'examiner un grand nombre d'entrepôts de données, à différents stades de leur cycle de vie. J'ai observé que, de façon générale, nous n'avions pas la même rigueur dans le fonctionnement du système d'entrepôt de données que les personnes en charge du système transactionnel peuvent attendre de leurs systèmes. En toute équité, un entrepôt de données n'est pas un système transactionnel, et peu d'entreprises peuvent justifier un contrat de service 24x7 pour l'accès à l'entrepôt de données. Mais Allez les gars, faut-il ressembler à des chiens fous en cas d'urgence? Comme nous le savons tous, les problèmes arrivent - surtout lorsqu'un entrepôt de données est en aval de tout autre système dans votre entreprise.

Exploiter un entrepôt de données de manière professionnelle n'est pas si différent des autres systèmes: Suivre les bonnes pratiques, prévoir les catastrophes, et s'entraîner. Voici quelques suggestions simples, basées sur mes observations des déploiements actuels.

lundi 30 décembre 2013

Conseil 51: Dernières réflexions sur les dimensions Temps

Virtuellement chaque table de faits possède une ou plusieurs clés étrangères liées à la dimension Temps. Les mesures sont prises à un moment précis et la plupart d'entre elles sont répétées au cours du temps.

La dimension de temps la plus courante et utile est la dimension Calendrier (ou date) avec une granularité au jour. Cette dimension à beaucoup d'attributs. Mais seulement peu d'entre eux (comme le nom du mois ou l'année) peuvent être générées directement par une fonction SQL. Les vacances, les jours ouvrés, les périodes fiscales, les numéros de semaines, l'indicateur de dernier jour du mois, et d'autres attributs de navigation doivent être présents dans cette dimension Calendrier et toutes les dates nécessaires à la navigation devraient être implémentées dans les applications en utilisant les attributs de la dimension. La dimension Calendrier possède quelques propriétés inutiles. C'est l'une des seules dimensions qui est complètement créée au début du projet d'entrepôt de données. Elle n'a pas de source de données conventionnelle. La meilleure façon pour créer la dimension Calendrier est de passer une après midi avec un tableur et de la créer à la main. Dix ans représente moins de 4 000 lignes.

lundi 23 décembre 2013

Conseil 50: Tables de faits sans faits?

Les tables de faits sans faits semblent être un oxymore, un peu comme des crevettes géantes. Comment pouvez vous avoir une table de faits qui n'ait pas de faits? Dans ce conseil, nous utilisons une table de faits sans faits pour compléter nos stratégies de dimensions à évolution lente.

Pour rappel, une table de faits sans faits capture les relations plusieurs-à- plusieurs entre des dimensions, mais ne contient aucun faits numérique ou textuel. Elles sont souvent utilisées pour enregistrer des événements ou couvrir une information. En voici quelques exemples:
  • identifier les promotions sur les produits (pour voir les produits en promotion qui ne se vendent pas)
  • suivre l'assiduité des étudiants ou les inscriptions
  • suivre les accidents pour les assurances
  • identifier les bâtiments, installations et équipements annexes pour un hôpital ou une université