Une brève introduction au Big Data – Définition, cas d’usages et glossaire

Une entreprise comme Netflix utilise le Big Data pour anticiper la demande de ses clients. Les équipes de Netflix ont construit des modèles prédictifs afin de proposer aux clients des nouveaux produits et services basés sur les attributs des produits et services consommés par le passé. Netflix utilise le Big Data pour créer des modèles de recommandation très élaborés, que vous connaissez certainement.

Les suggestions Netflix : un cas d’utilisation du Big Data.

Les facteurs qui permettent de prédire les problèmes mécaniques sont souvent dissimulés dans des ensembles de données structurées : l’année d’équipement, l’année de fabrication, le modèle du produit ou bien dans des données non-structurées : messages d’erreur, connexions, données de capteur, température…

Analyser toutes ces données, qui constituent autant d’indicateurs, permet d’anticiper les pannes et la survenue de problèmes.

Le Big Data peut être utilisé pour réduire le coût de la maintenance et allonger la durée de vie en bon état des produits.

L’expérience client est la résultante des sentiments et émotions ressentis par le client dans sa relation avec une marque, au sens large. Elle s’évalue et mesure par l’analyse de toutes les interactions entre le client et la marque.

Le Big Data permet de collecter les données en provenance de tous les canaux, de tous les points de contact (réseaux sociaux, visites web, appels, etc.) et de qualifier de manière relativement précise l’expérience vécue par chaque client. La qualité de cette mesure permet d’améliorer la pertinence/ personnalisation des offres, de réduire le churn et de résoudre les problèmes de manière pro-active.

Le machine learning est une approche basée sur le Big Data. Les deux sont irrésistiblement liés. La donnée massive est la matière première du machine learning. Le machine learning mériterait un article à lui tout seul. Il consiste à instaurer un nouveau rapport à la machine, à passer d’un rapport de programmation (l’homme programme une machine) à un rapport d’enseignement, de learning.

Le machine learning est l’art de rendre la machine apprenante, donc intelligente (dans une certaine acceptation du terme…). Le machine learning (et plus généralement l’IA) est indubitablement une des applications les plus prometteuses du Big Data.

L’efficacité opérationnelle – c’est-à-dire l’efficacité des process & traitements déployés par les hommes et les machines – fait moins parler d’elle que le machine learning, pourtant c’est l’un des domaines où le Big Data a / aura le plus d’impact. Le Big Data permet d’analyser et d’évaluer tout type de production humaine et les feedbacks clients. Le Big Data peut être utilisé pour améliorer la prise de décision, pour l’ajuster au mieux à la demande du marché.

Nous ne prétendons pas avoir résumé toutes les utilisations du Big Data. Elles sont nombreuses et croissantes. Mais ces quelques cas d’usage permettent déjà de percevoir toute la valeur d’une utilisation intelligence des données massives.

Signalons quelques autres cas d’utilisation du Big Data dont nous aurions pu parler :

• La vue client unique qui permet aux collaborateurs de l’entreprise d’avoir accès sur une interface simple à l’ensemble des données disponibles sur n’importe quel client. Le Big Data est aussi l’art et la manière d’unifier la donnée clients, en construisant des infrastructures adéquates de type Référentiel Client Unique.
• La prévention des fraudes. Sujet moins glamour, mais important dans certains secteurs, en particulier le secteur bancaire. Une carte bancaire est utilisée pour réserver une voiture à Singapour alors que son détenteur vit à Paris, est localisé à Paris et n’est pas en période de congés ? Le rapprochement de ce genre de données et d’événements permet de détecter des fraudes possibles et de déclencher des actions pro-actives.
• L’optimisation des prix. Vous connaissez toutes et tous le yielding, qui consiste à ajuster en temps réel les prix en fonction de l’analyse de l’offre et de la demande. Les sociétés de transport (notamment aériens) utilisent cette technique de manière massive. C’est un cas d’utilisation du Big Data parfois peu apprécié des consommateurs finaux, mais qui doit être mentionné.
• L’analyse en temps réel des interactions sur les réseaux sociaux. Difficile de contrôler tout ce qui se dit sur les réseaux sociaux de la marque lorsque les messages, commentaires, likes et autres posts se comptent par centaines de milliers. Le traitement 100% humain devient impossible. Les grands groupes développent des algorithmes basés sur le Big Data pour mieux contrôler leur présence sur les réseaux sociaux et tirer des enseignements de la Voix du Client.
• Les objets connectés génèrent des volumes de données énormes. Pour les stocker, les analyser, les exploiter, les technologies et pratiques Big Data sont incontournables.

On ne peut pas parler de Big Data sans parler d’algorithmes. Pour donner une définition synthétique, un algorithme est une formule mathématique ou un ensemble d’instructions données à une machine qui décrit comment la donnée doit être processée pour obtenir l’information voulue.

Le batch processing est une réalité ancienne. Il consiste à séquencer le traitement des données, à traiter les données par lots. Le Big Data a donné une nouvelle jeunesse à ce concept. Le framework Hadoop est basé sur cette méthode de traitement. Le batch processing s’oppose au streaming de données en temps réel.

Big Data est un terme générique qui désigne les datasets qui ne peuvent pas être gérés par des serveurs et des outils classiques en raison de leur volume, de leur vélocité et de leur variété. Le concept de Big Data fait aussi référence aux technologies et aux stratégies mises en œuvre pour gérer ce type de données.

La Business Intelligence (souvent désignée par son acronyme BI) est la démarche qui consiste à analyser de gros volumes de données pour en extraire des enseignements (insights), c’est-à-dire des informations à valeur ajoutée permettant d’améliorer et de mieux comprendre son activité. La BI est utilisé pour améliorer la prise de décision (data-driven).

Le Cloud Computing désigne le fait d’utiliser internet (ie. des serveurs distants) pour stocker les données et organiser leur accès, en lieu et place d’un disque dur d’ordinateur. Le cloud computing, en démultipliant les possibilités de stockage et en facilitant l’accès aux données, a joué et continue de jouer un grand rôle dans l’essor du Big Data.

Un seul ordinateur ne peut pas traiter les volumes de données qui sont ceux du Big Data. Le cluster computing consiste à mettre en réseau plusieurs ordinateurs / serveurs pour créer des systèmes ayant la capacité de réaliser des traitements Big Data.

Spécialiste en informatique responsable de la conception, de la construction et de la maintenance des architectures de données, comme les bases de données et les grands systèmes de traitement de données. Leur rôle est d’optimiser, de sécuriser et de garantir la fluidité des données pour les analystes et les scientifiques des données.

Un Data Lake (Lac de Données) est un endroit où est réuni un vaste ensemble de données dont la plupart sont dans leur état brut et non-structuré. Le Data Lake se distingue du Data Warehouse que nous allons définir dans un instant.

Le data mining consiste à détecter des patterns / des modèles à partir de l’analyse de vastes ensembles de données. Le data mining est l’art de mettre de l’intelligence dans les données, de créer des connexions entre données, de transformer les données innombrables du Big Data en informations exploitables, en « insights ».

Un Data Scientist est une personne qui sait organiser des données structurées et non-structurées grâce à des compétences très pointues en statistiques, en mathématiques et en programmation. Il analyse les données pour y découvrir des schémas (patterns) et des informations à même d’améliorer la compréhension du business et d’en améliorer la performance.

Il est l’homme du Big Data. Il ne doit pas être confondu avec le Data Engineer, dont le rôle est de construire les infrastructures data et d’en assurer la maintenance.

La Data Visualization est l’art de transformer des données brutes en informations grâce à des outils graphiques (graphes, diagrammes, courbes, tableaux…) organisés dans des tableaux de bord ou reportings. En un mot : l’art de mettre en image les données de l’entreprise pour y déceler plus facilement des enseignements et aider à la prise de décision.

Un Data Warehouse (entrepôt de données) est un lieu de stockage des données. A la différence du Data Lake (qui est une sorte de fourre-tout), le Data Warehouse est un lieu où les données sont organisées. Le Data Lake stocke de l’eau (comme un lac !), le Data Warehouse stocke des bouteilles d’eau entreprosées sur des rangées – pour reprendre une métaphore souvent utilisée.

Les données des Data Warehouses sont organisées pour en faciliter l’analyse et le reporting. Le Big Data a surtout affaire aux Data Warehouses Cloud (les Data Warehouses classiques étant associés aux systèmes classiques de management des données).

Les données structurées désignent des informations organisées selon un schéma ou un modèle préétabli, généralement stockées dans des bases de données relationnelles avec des colonnes et des lignes définies, comme des tableaux ou des SQL.

Les données non structurées désignent des informations sans format ou organisation spécifique, comprenant des textes, des images, des vidéos et d’autres types de données qui ne rentrent pas facilement dans des tableaux traditionnels.

Les données semi-strucutrées désignent des informations qui ne sont pas organisées dans un format prédéfini comme les données structurées, mais qui contiennent des éléments organisateurs tels que des tags ou des hiérarchies, typiques des fichiers JSON et XML.

ETL est un acronyme pour : Extract, Transform, Load. En français : Extraire, Transformer et Charger. L’ETL désigne le process d’extraction et de préparation des données. L’ETL est traditionnellement associé aux Data Warehouses, mais le process est aussi utilisé dans les systèmes Big Data.

Hadoop reste aujourd’hui encore la principale plateforme Big Data. Basé sur Java, le framework open source Hadoop est utilisé pour stocker et traiter des données en masse. Hadoop fait partie du projet Apache, qui est aussi à l’origine des framework Pig, Hive et Spark.

L’intelligence artificielle désigne l’intelligence des machines, par opposition avec l’intelligence humaine. On parle d’IA, ou d’AI – Artificial Intelligence. Le terme même d’intelligence artificielle est parfois contesté, ces détracteurs considérant l’intelligence comme une faculté indissociablement liée à une conscience – conscience que les machines n’ont pas.

Pour résumer, l’IA désigne la capacité pour une machine d’effectuer des tâches normalement réalisées par les humains et nécessitant des capacités dépassant le schème classique de la programmation : reconnaissance vocale, perception visuelle, prise de décision, prédiction, capacité d’apprentissage. Le machine learning est une sous-partie du l’intelligence artificielle.

L’Internet des Objets fait référence à un réseau d’objets physiques intégrant des capteurs, des logiciels et d’autres technologies pour se connecter et échanger des données avec d’autres dispositifs et systèmes via Internet. Il englobe tout, des appareils ménagers connectés aux véhicules autonomes, en passant par le prêt-à-porter.

Le Machine Learning est un ensemble de techniques et de technologies permettant à un système informatique d’apprendre, de s’ajuster et de s’améliorer grâce aux données ingérées par lui. Le machine learning est à la base des progrès de l’intelligence artificielle.

Un modèle de langage est un algorithme informatique entraîné pour comprendre, générer et travailler avec le langage humain, souvent en prédisant la probabilité de séquences de mots. Ces modèles sont essentiels pour des applications comme la traduction automatique, la génération de texte et les assistants vocaux.

Une métadonnée est une donnée qui décrit une autre donnée. Par exemple, la date à laquelle une donnée a été enregistrée est une meta-donnée. Le lieu où a été prise une photo est un autre exemple de métadonnées. D’autres exemples ? La taille d’un fichier, l’auteur de la donnée…Les métadonnées décrivent le contexte des données.

NoSQL est un terme générique utilisé pour désigner toutes les bases de données construites en dehors du modèle classique relationnel. Il existe plusieurs types de bases de données NoSQL : les bases de données orientées documents, les bases de données orientées clés-valeurs, les bases de données orientées colonnes. Les bases NoSQL sont au cœur des projets BigData. Elles rendent possible la gestion d’énormes volumes de données non-structurées. Cassandra et MongoDB représentent deux exemples emblématiques de BDD NoSQL.

Nous arrivons au terme de cette introduction au Big Data. Cette présentation était modeste dans ses intentions, nous ne prétendons pas avoir épuisé le sujet – un sujet si vaste ! Si nous vous avons éclairés sur les principaux enjeux, cas d’usage et concepts du Big Data, nous avons atteint notre objectif !

R & Python sont les deux principaux langages de programmation utilisés dans le Big Data. Python est plus simple à utiliser que R, plus accessible aux débutants. Quoi qu’il en soit, ces deux langages, par leur flexibilité et leur efficacité, sont très pratiques pour processer de gros data sets. R est un langage plus spécifique dans la mesure où il est surtout utilisé pour réaliser des analyses statistiques.

Open source, ces deux langages font l’objet d’améliorations continues de la part de leurs utilisateurs. De nouvelles bibliothèques sont régulièrement créées (par exemple ggplot2 pour la Data Visualization).

Une requête est une question adressée à une base de données pour obtenir les réponses que l’on souhaite. Les requêtes peuvent être plus ou moins complexes, suivant la nature des interrogations. Une requête simple serait par exemple : « Donne-moi tous les contacts de sexe féminin ».

Une requête plus complexe serait : « Donne-moi tous les contacts féminins de 30 à 40 ans ayant acheté le produit X et dont le dernier achat remonte à moins de X jours ». On le voit, la complexité des requêtes se mesure au nombre de conditions voulues. Les requêtes (queries) utilisées en Big Data sont bien plus complexes que celles utilisées sur les bases de données relationnelles.

Le streaming de données désigne un flux continu d’informations générées en temps réel, souvent traitées et analysées à la volée pour obtenir des insights ou réagir à des événements spécifiques.