Contenu
- ETL crée des goulots d'étranglement pour l'analyse
- Rationalisation des ETL avec Machine Learning et AI
- Pas de bugs, pas de stress - Votre guide étape par étape pour créer un logiciel qui change la vie sans vous détruire
Source: Pop Nukoonrat / Dreamstime.com
À emporter:
Les données sont cruciales pour les entreprises mais, pour qu’elles soient utiles, il ne doit y avoir aucune erreur dans la collecte, le traitement et la présentation de ces données. L’intelligence artificielle peut surveiller les processus ETL pour s’assurer qu’ils sont exempts d’erreurs.
ETL (extraire, transformer et charger) est l’un des processus les plus importants de l’analyse des données volumineuses - et simultanément, il peut s’agir de l’un de ses principaux goulots d’étranglement. (Pour en savoir plus sur les données volumineuses, consultez 5 cours utiles sur les données volumineuses que vous pouvez suivre en ligne.)
La raison pour laquelle ETL est si important est que la plupart des données collectées par une entreprise ne sont pas prêtes, sous leur forme brute, à être digérées par une solution analytique. Pour qu'une solution analytique crée des informations, les données brutes doivent être extraites de l'application où elles résident actuellement, transformées en un format lisible par un programme analytique, puis chargées dans le programme analytique lui-même.
Ce processus est analogue à la cuisson. Vos ingrédients bruts sont vos données brutes. Ils doivent être extraits (achetés dans un magasin), transformés (cuits), puis chargés (plaqués) avant de pouvoir être analysés (goûtés). La difficulté et les dépenses peuvent varier de façon imprévisible - c’est facile de faire du mac n ’cheese, mais beaucoup plus difficile de créer un menu gastronomique pour 40 personnes lors d’un dîner. Inutile de dire qu'une erreur à n'importe quel moment peut rendre votre repas indigeste.
ETL crée des goulots d'étranglement pour l'analyse
ETL est à certains égards le fondement du processus d’analyse, mais présente également des inconvénients. Tout d’abord, c’est lent et coûteux en calcul. Cela signifie que les entreprises ne hiérarchisent souvent que les données les plus importantes, et stockent simplement le reste. Cela contribue au fait que jusqu'à 99% de toutes les données de l'entreprise restent inutilisées à des fins d'analyse.
De plus, le processus ETL n’est jamais certain. Des erreurs dans le processus ETL peuvent corrompre vos données. Par exemple, une brève erreur de réseau peut empêcher l'extraction de données. Si vos données source contiennent plusieurs types de fichiers, leur transformation peut être incorrecte. Garbage in, garbage out, comme on dit, des erreurs au cours du processus ETL s'exprimeront presque certainement en termes d'analyse inexacte.
Un processus ETL corrompu peut avoir des conséquences néfastes. Même dans le meilleur des cas, vous devrez probablement ré-exécuter l'ETL, ce qui signifie un délai de plusieurs heures. Entre-temps, vos décideurs sont impatients. Dans le pire des cas, vous ne remarquerez pas l’analyse inexacte avant de commencer à perdre de l’argent et des clients.
Rationalisation des ETL avec Machine Learning et AI
Vous pouvez - et probablement le faire - affecter quelqu'un à la surveillance des ETL, mais honnêtement, ce n'est pas si simple. De mauvaises données peuvent résulter d’erreurs de processus qui se produisent si rapidement qu’elles ne peuvent pas être repérées en temps réel. Les résultats d’un processus ETL corrompu ne paraissent souvent pas différents des données correctement chargées. Même lorsque les erreurs sont évidentes, le problème qui l'a créée peut ne pas être si facile à détecter. (Pour en savoir plus sur l'analyse des données, voir Fonction: Analyste de données.)
La bonne nouvelle est que les machines peuvent capturer ce que les humains ne peuvent pas. Ce ne sont là que quelques moyens par lesquels l'IA et l'apprentissage automatique peuvent intercepter les erreurs ETL avant qu'elles ne se transforment en analyses imprécises.
Pas de bugs, pas de stress - Votre guide étape par étape pour créer un logiciel qui change la vie sans vous détruire
Vous ne pouvez pas améliorer vos compétences en programmation lorsque personne ne se soucie de la qualité des logiciels.
1. Détecter et alerter les métriques ETL
Même si vos données sont une image constamment en mouvement, le processus ETL doit toujours produire des valeurs cohérentes à une vitesse constante. Lorsque ces choses changent, cela suscite l’alarme. Les humains peuvent voir de grandes variations dans les données et reconnaître les erreurs, mais l'apprentissage automatique peut reconnaître plus rapidement les défauts les plus subtils. Il est possible qu’un système d’apprentissage automatique offre une détection en temps réel des anomalies et alerte directement le service informatique, ce qui leur permet de suspendre le processus et de résoudre le problème sans avoir à abandonner des heures de travail de calcul.
2. Identifiez les goulots d’étranglement spécifiques
Même si vos résultats sont exacts, ils risquent de sortir trop lentement pour être utiles. Gartner dit que 80% des idées Les résultats d’analyses ne seront jamais exploités pour créer une valeur monétaire, ce qui peut être dû au fait qu’un dirigeant n’a pas la possibilité d’en tirer parti à temps. L'apprentissage automatique peut vous indiquer où votre système ralentit et vous apporter des réponses, vous permettant ainsi d'obtenir de meilleures données plus rapidement.
3. Quantifier l'impact de la gestion du changement
Les systèmes qui produisent vos données et vos analyses ne sont pas statiques - ils reçoivent en permanence des correctifs et des mises à niveau. Parfois, cela affecte la manière dont ils produisent ou interprètent les données, ce qui conduit à des résultats inexacts. L'apprentissage automatique peut signaler les résultats modifiés et les tracer vers la machine ou l'application corrigée spécifique.
4. Réduire le coût des opérations
Des opérations d’analyse bloquées équivalent à de l’argent perdu. Le temps que vous passez à chercher non seulement comment résoudre le problème, mais aussi Qui est responsable pour résoudre le problème, c’est le temps que vous pourriez dépenser pour construire un bâtiment. L'apprentissage automatique aide à aller au fond des choses en alertant uniquement les équipes pouvant être chargées de réagir à des types d'incident spécifiques, laissant ainsi le reste du service informatique libre de continuer à exécuter des tâches essentielles. En outre, l'apprentissage automatique aidera à éliminer les faux positifs, en réduisant le nombre total d'alertes tout en augmentant la granularité des informations qu'elles peuvent fournir. La fatigue liée aux alertes étant très réelle, ce changement aura un impact mesurable sur la qualité de vie.
L'analyse des performances est cruciale pour gagner des affaires. Une étude historique réalisée par Bain Capital montre que les entreprises qui utilisent l'analytique sont plus de deux fois plus susceptibles de surperformer financièrement. ETL constitue le fondement du succès dans ce domaine, mais des retards et des erreurs peuvent également empêcher le succès d’un programme d’analyse. L'apprentissage automatique devient donc un outil précieux pour la réussite de tout programme d'analyse, car il permet de garantir des données propres et des résultats précis.