F.A.Q. Business Intelligence
F.A.Q. Business IntelligenceConsultez toutes les FAQ
Nombre d'auteurs : 1, nombre de questions : 20, création le 3 octobre 2013
Il y a plusieurs solutions ... Soit on a en source un identifiant incrémental ou une date de modification. Dans ce cas on peut distinguer les nouvelles lignes en filtrant sur les dernières valeurs. On peut gérer ces identifiants dans l'application source ou via un trigger. Mais cela ne donne pas les suppressions et les corrections manuelles en base source ne mettent pas forcément à jour ces colonnes. Soit on utilise les traitements différentiels de masse de bases de données. Il s'agit de faire un MINUS mais c'est un traitement très coûteux, à proscrire dans le cas de volumétries très importantes. Soit on met en place du CDC (Change Data Capture), un procédé automatique pour consigner les changements dans des tables spécifiques. Ce procédé est généralement inclus dans les ETL et les bases de données. C'est certainement la meilleure méthode, la plus sûre et la plus performante.
Lien : Variations dans les dimensionsVariations dans les dimensions
Pas forcément. Si c'est pour alimenter quelques tables, il n'est pas conseillé d'utiliser un nouvel outil comme un ETL ; même s'ils sont simples d'utilisation ils demandent du temps pour les maîtriser. Par contre ils deviennent vite indispensables pour alimenter un datawarehouse où on trouve toutes les données de l'entreprise ! Surtout qu'il existe maintenant des versions gratuites d'ETL comme Talend.
Cela concerne le mode et l'endroit de transformation. Dans l'ELT l'étape de transformation (le T) se fait dans la base de données via du SQL généré alors que dans l'ETL elle se fait par un moteur (engine) spécifique externe à la base. On trouve des composants ELT dans des ETL comme Talend. On pourra choisir au cas par cas d'avoir des traitements en mode ETL ou en mode ELT.