Data Engineer CRM : Définition, rôle & compétences dans un dispositif CRM

Un petit avertissement avant de commencer : nous sommes consultants en CRM et Données Clients. Pour cette raison, nous allons angler l’article sur le métier de Data Engineer CRM, mais l’essentiel de ce que nous allons dire concerne le métier de Data Engineer en général. Data Engineer & Data Engineer CRM : nous avons bien affaire au même métier.

Le métier et le rôle du Data Engineer consistent à mettre en place, à gérer la maintenance et à faire évoluer les infrastructures data de l’entreprise, c’est-à-dire :

• Les bases de données, les systèmes, à commencer par la base maîtresse qui est en général le Data Warehouse.
• Les flux de données et les connexions entre les sources et les bases composant le système d’information de l’entreprise. Le Data Engineer CRM s’occupe de l’alimentation en données des différents systèmes et veille à la sécurisation des pipelines de données.

Le Data Engineer CRM est donc le premier maillon de la chaîne dans le traitement de la donnée clients – de son extraction à son exploitation par les applicatifs métiers et les outils de BI. C’est lui qui construit et gère la maintenance de l’environnement qui permet à tous les autres métiers de la data d’opérer : le Data Analyst, le Data Scientist. Il leur prépare le terrain.

Un Data Analyst CRM, comme son nom l’indique, est un professionnel dont le rôle est d’analyser les données CRM. Un Data Analyst est capable d’interroger les différentes sources de données de l’entreprise pour en construire des analyses et en tirer des enseignements. Il met de l’intelligence dans les données et créer des rapports en utilisant le plus souvent des outils de BI / Data Visualization comme Tableau, PowerBI ou Data Studio.

Un outil de BI permet de créer des rapports et des visualisations de données. C’est l’outil de prédilection du Data Analyst CRM. Ici, PowerBI.

Le Data Analyst doit posséder de bonnes compétences métiers. Il doit comprendre les grands enjeux autour des données clients et connaître l’activité de l’entreprise pour laquelle il travaille. Il doit par ailleurs avoir de solides compétences en statistiques. En revanche, il n’a pas forcément besoin d’être très « calé » techniquement. La technique, c’est le Data Engineer qui gère. Pour nuancer, précisons tout de suite que certains Data Analysts disposent de compétences avancées en Data Engineering qui leur permettent de jouer sur les deux tableaux.

Après cette petite présentation, on comprend facilement la différence entre un Data Engineer et un Data Analyst. Le Data Engineer est un technicien. Il met en place les systèmes informatiques et les connexions entre les systèmes nécessaires pour aboutir à une architecture data exploitable par :

• Les autres métiers de la data : Data Analyst et Data Scientist.
• Les métiers business : Marketing, Commerce, Digital, etc.

Le Data Engineer intervient en amont de tous ces métiers. Il n’a pas besoin de disposer de compétences business. Quelques cas concrets que l’on retrouve souvent dans notre métier de consultant en Données Clients :

• Le Data Engineer est la personne qui va mettre en place l’outil ETL permettant de connecter toutes les sources de données à l’entrepôt de données.
• Les données du Data Warehouse vont être connectées à l’outil de BI par le Data Analyst ou par le Data Engineer sur demande du Data Analyst.
• Le Data Analyst apporte sa pleine valeur ajoutée dans la conception des dispositifs de reporting / de visualisation et dans leur analyse.

Le Data Analyst travaille donc en étroite collaboration avec le Data Engineer, mais aussi avec les équipes métier qui ont vocation à se nourrir des analyses et des découvertes du Data Analyst.

Le Data Scientist CRM est par bien des côtés un métier proche de celui de Data Analyst CRM. Il analyse les données pour en tirer des enseignements. Il intervient donc lui aussi en aval du travail du Data Engineer. Mais le Data Scientist va plus loin : il construit des modèles et des algorithmes pour faire parler la donnée, construire des systèmes prédictifs ou de machine learning.

Par exemple, les Data Scientists sont souvent amenés à construire :

• Des modèles d’attribution pour permettre à l’entreprise de mesurer efficacement la performance omnicanal, c’est-à-dire la contribution de chaque canal du parcours client à la Performance Client.
• Des moteurs de recommandation pour personnaliser les offres proposées aux clients en fonction de certaines variables : typologie client, historique d’achat, comportement web…

Le Data Scientist ne se contente pas d’analyser, il construit les modèles d’analyse. Pour construire ces modèles, il explore les données à disposition du Data Lake pour identifier des patterns. Précisons : toutes les données. Le Data Scientist s’intéresse en effet aussi aux données non-structurées, contrairement au Data Analyst dont la matière première est constituée des données structurées du Data Warehouse.

Comme le Data Analyst, le Data Scientist doit avoir une bonne compréhension du métier et donc échanger avec les équipes métier.

Le Data Scientist a besoin d’accéder aux données brutes. Il a donc besoin du Data Engineer et travaille en étroite collaboration avec celui-ci. Il détecte les données invalides, suspectes, erronées, mal-formatées et en discute avec le Data Engineer qui a en charge la mise au propre des données.

Ces trois métiers clés de la data sont complémentaires et inséparables. D’ailleurs, dans certaines organisations, ces fonctions se recoupent et sont prises en charge par la même personne. L’exercice de définition pousse à bien distinguer les métiers, mais il faut être conscient que, dans la vraie vie, certains Data Analyst exercent en même temps les fonctions de Data Engineer, que certains Data Engineer exercent des fonctions de Data Scientist (ou de Machine Learning Engineer)…Bref, ces cloisons ne sont pas si étanches qu’on pourrait le penser. Les chevauchements sont fréquents.

Le Data Engineer s’occupe de l’infrastructure de données de l’entreprise. Logiquement, on attend de lui des compétences techniques avancées en manipulation de données. Il doit donc connaître :

• Les langages de bases de données SQL (MySQL, Oracle, PostgreSQL, MS Server…) et NoSQL (Cassandra, BigTable, MongoDB, Redis…)
• Les infrastructures Cloud, leur fonctionnement, leurs modèles de données. De plus en plus d’entreprises décident de construire leur infrastructures data dans des plateformes Cloud comme Microsoft Azure, Amazon Redshift, Google BigQuery, Snowflake…Les Data Engineers se doivent de maîtriser ces services cloud.
• Les technologies ETL (Talend, Stitch Data, Fivetran…) ainsi que les langages comme Java et Python pour construire les pipelines de données.
• Les frameworks open source de stockage des données (à commencer par Hadoop).
• Les langages d’analyse des données sur Hadoop : Hbase, Hive…La connaissance de ces langages est surtout l’apanage des profils seniors.

Parce que le Data Engineer travaille étroitement avec les Data Analysts et Data Scientists, il se doit de comprendre un minimum leurs métiers et leurs outils. Par exemple, un Data Engineer doit comprendre à quoi sert et comment fonctionne grosso modo un outil de BI. Il doit également avoir des notions de machine learning et d’intelligence artificielle pour comprendre la langue des Data Scientists et leurs demandes.

Le Data Engineer CRM ne travaille pas seul dans son coin. C’est l’un des points que nous avons voulu mettre en avant dans cet article. Il est en dialogue constant avec :

• Les autres métiers de la data.
• Les équipes métier consommatrices de données : le marketing, le commerce, le service client, le digital…

Par conséquent, les compétences purement techniques ne suffisent pas. Il doit aussi avoir un bon relationnel, être capable de dialoguer de manière compréhensible avec les métiers non-techniciens, être à l’écoute des métiers et comprendre leurs demandes.

Le Data Engineer doit enfin être curieux et disposé à apprendre sans cesse. Le monde du Data Management évolue à une vitesse incroyable. Nous avons vu en passant que l’une des grandes tendances était l’essor des plateformes cloud, mais ce n’est pas la seule. Le Data Engineer doit se former constamment à ces nouvelles technologies et à ces nouvelles approches dans la manière de stocker, d’organiser et de gérer les données.

Le Data Engineer CRM n’est pas un second rôle. Il joue un rôle clé dans la réussite des projets CRM basés sur une meilleure exploitation de la data. Nous espérons vous avoir aidé à bien saisir les lignes de force de ce métier.