Contenu
Source: Nmedia /Dreamstime.com
À emporter:
Les mégadonnées sont des grandes entreprises partout, mais quelques domaines spécifiques exploitant au mieux cette technologie.
Lorsque j'ai commencé cet article, j'avais l'intention de répertorier les différents types de plates-formes Big Data. Toutefois, après trois jours de tentatives visant à regrouper toutes les différentes offres de Big Data (relationnelles contre non-relationnelles, SQL contre NoSQL et base de données contre structure), j'ai décidé d'éviter ce désordre.
Pour ajouter l'insulte à la blessure, j'avais espéré présenter la personne qui a inventé le terme "big data" dans le cadre de l'article. Mais je ne peux même pas faire ça. Il n'y a pas de réponse convenue. En fait, il existe un projet de recherche complet visant à déterminer qui est à l'origine du big data. Au lieu de cela, je vais examiner quelques-unes des principales façons d’utiliser les données volumineuses. C'est beaucoup plus important. Et c'est plus intéressant et surprenant que vous ne le pensez.
Comment cela s'est passé
Les analystes utilisant l’exploration de données traditionnelle manipulent des données depuis des années. Ces mêmes analystes ont maintenant du mal à gérer la quantité et la diversité des données sauvegardées par les entreprises, les organisations privées et les agences gouvernementales.
Entrez Big Data, la prochaine étape de l'évolution dans l'exploration de données. Les mégadonnées ont été conçues pour gérer les bases de données volumineuses et les innombrables types de données créés dans le monde numérique actuel. Si "massive" vous fait penser à Google et à toutes les données qu'il collecte, vous seriez dans le stade. Ce qui peut vous surprendre, c’est que Google ne figure que quatrième sur la liste des dix plus grandes bases de données au monde. Depuis janvier 2014, le Centre mondial de données sur le climat arrive en tête de la liste avec 220 téraoctets de données, et tout le monde devine la taille des bases de données contrôlées par certaines agences gouvernementales.
Bien entendu, le big data a pris son essor car il permet de manipuler de grandes quantités de données dissemblables et de découvrir des choses étonnantes, incroyablement détaillées et personnelles. John Sumser, analyste de l'industrie des ressources humaines, fournit l'exemple suivant:
"Aujourd'hui, nous créons des hypothèses et collectons des données. Demain, nous ferons l'inverse. L'accumulation constante et continue de données nous permettra d'examiner les données avant de poser des questions. Cela signifie que nous obtiendrons des réponses aux questions que nous n'avions pas." Sache pas demander. Nous ne penserons pas à tout un tas de choses que nous supposons être des faits. "Bien sûr, nous avons tous entendu parler de certaines des méthodes effrayantes utilisées pour utiliser ces données, telles que la capacité de Cibles de détecter la grossesse d'une jeune femme avant même que sa famille ne le découvre. Mais le Big Data est également utilisé pour des causes beaucoup moins sinistres. Voici quelques organisations qui en tirent le meilleur parti:
Vous ne pouvez pas améliorer vos compétences en programmation lorsque personne ne se soucie de la qualité des logiciels.
Un domaine évident que les grandes données aideront à gérer les dossiers de santé électroniques de manière sûre et précise dans les organisations médicales. Des enregistrements précis fourniront aux patients un meilleur service et réduiront les erreurs. Pour des raisons évidentes, le secteur des soins de santé adapte le Big Data à un rythme plus lent afin de se conformer aux réglementations gouvernementales en matière de confidentialité des patients.
Comme mentionné précédemment, le Big Data est connu pour fournir des réponses aux questions non posées. Dans le domaine de la santé, cela pourrait signifier de trouver un nouveau médicament ou traitement qui n’aurait pas été trouvé autrement. Selon McKinsey & Company, les mégadonnées pourraient permettre ce qui suit dans un avenir pas si lointain:
- La modélisation prédictive des processus biologiques et des médicaments devient plus sophistiquée et plus répandue.
- Les patients sont identifiés pour participer à des essais cliniques basés sur davantage de sources d'informations, telles que les médias sociaux.
- Les essais sont surveillés en temps réel pour identifier rapidement les problèmes de sécurité ou opérationnels.
- Au lieu de silos de données rigides difficiles à exploiter, les données sont capturées électroniquement et circulent facilement entre différentes unités.
Big Data, Big Opportunity
Bien que le big data soit exploité dans certains domaines spécifiques, il offre des opportunités à toutes les organisations dans les domaines suivants:
À peu près tous les périphériques informatiques et de réseau enregistrent les données. La quantité de données enregistrées rapidement devient difficile à manier. Les mégadonnées peuvent facilement gérer cette quantité de données, ce qui permet aux administrateurs de surveiller l'activité du réseau, de diagnostiquer les problèmes ou, dans l'exemple que Rubin m'a donné, de rechercher certains schémas de trafic sur le réseau qui indiqueraient une activité malveillante.
Si vous lisez cet article, il est fort à parier que vous êtes au courant du problème de Heartbleed concernant OpenSSL. Outre le problème technique, la vulnérabilité existe depuis plusieurs années. Rubin a indiqué que le Big Data permet aux administrateurs de réseau, en collaboration avec des analystes de données, de créer un programme permettant de rechercher dans tous les journaux du réseau les pulsations malveillantes. Cet article de l'EFF mentionne:
"Les opérateurs de réseau disposant de journaux de paquets volumineux peuvent rechercher des pulsations malveillantes, qui ont le plus souvent une charge utile TCP de 18 03 02 00 03 01 ou 18 03 01 00 03 01 (ou peut-être même de 18 03 03 00 03 01)."L'exemple suivant est un exemple de sortie de la commande show audit:
Routeur # show audit
* 14 sept. 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Utilisateur:
* 14 sept. 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Utilisateur:
* 14 sept. 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Utilisateur:
* 14 sept 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Utilisateur:
* 14 sept. 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Utilisateur:
Si vous suivez les horodatages, l'intervalle de temps pour toutes ces entrées est inférieur à une seconde. Je ne voudrais même pas extrapoler cela pour une journée, encore moins deux ans!
Quelque chose à regarder
Si vous consultez les offres d'emploi, il y a un besoin urgent d'experts en Big Data. J'ai demandé à Rubin à ce sujet. Il a accepté, en mentionnant que ses étudiants étaient enthousiasmés par leurs perspectives. J'ai ensuite réalisé que les plateformes de données volumineuses, en particulier celles considérées comme à source ouverte, suivent un calendrier très similaire à celui de la généralisation de Linux.
Les universités adoptent les versions open source des plateformes Big Data, en particulier Hadoop, car elles sont gratuites, et les étudiants peuvent manipuler le code source. Ainsi, les diplômés qui remplissent toutes ces offres d’emploi vont préférer travailler avec des plates-formes open source, car c’est ce qu’ils connaissent le mieux. Ce sera intéressant à regarder.