Deux ingrédients essentiels à une bonne stratégie IA 

Dès lors qu’elles tentent de dépasser le stade de l’expérimentation sur des données restreintes, elles se heurtent à deux défis majeurs en abordant la phase d’industrialisation de leur stratégie IA. Nicolas Maillard, Sr Director field Engineering Central & SEMEA – Databricks nous livre son expertise.

Tout d’abord, elles ne disposent pas de l’architecture adéquate pour simplifier et automatiser le traitement des données, qui se complexifie inévitablement au fur et à mesure que leur quantité augmente. Pourtant, pas de bonne stratégie IA sans données massives facilement accessibles et exploitables simultanément à tous les niveaux de l’entreprise, des équipes data jusqu’aux métiers. L’autre source principale d’échec des projets d’IA est le manque de maturité des entreprises face à la data et à l’IA pour générer de la valeur. Il s’agit alors d’instaurer une culture data solide et efficace qui vise à démocratiser les données pour permettre à chacun dans l’entreprise d’extraire les informations dont il a besoin pour décider, innover et performer.

Une architecture de données plus simple, plus rentable et plus apte à servir l’IA  

Alors que les data warehouses étaient parfaits pour analyser des données structurées, ils sont désormais coûteux et inadaptés aux cas d’usage basés sur l’IA nécessitant le traitement de données non structurées, semi-structurées, très hétérogènes et volumineuses. Quant aux data lakes, ils peinent dans quelques domaines. Tout d’abord, ils manquent de fiabilité et de gouvernance. Ils rendent difficile la modification de données, les tâches échouant souvent sans notification et la conservation des historiques de versions peut être coûteuse. Ils complexifient également la gestion de vastes catalogues de métadonnées.

L’architecture que nous voyons prendre forme actuellement s’appelle le lakehouse. Elle fournit au data lake une couche transactionnelle structurée qui ajoute une performance, une fiabilité, une qualité et une scalabilité semblables à celles d’un data warehouse. Elle permet à un grand nombre de cas d’usage qui auraient habituellement nécessité plusieurs data warehouses traditionnels d’être réalisés avec un seul et unique data lake.

Un lakehouse prend en charge des données non structurées, telles que la vidéo, l’audio, le texte, ainsi que des données structurées qui restaient habituellement le domaine des systèmes hérités. Mieux encore, basé sur un format ouvert standard, il évite aux entreprises d’enfermer leurs données dans un système ou un format spécifique. En simplifiant radicalement l’infrastructure de données, le lakehouse accélère l’innovation à une époque où le ML et l’IA révolutionnent tous les secteurs.

Le groupe français TotalEnergies a notamment opté pour cette architecture lakehouse, afin d’automatiser son travail sur des modèles de prédiction et d’optimisation de la production de puits d’hydrocarbure à partir des données de capteurs. Ce dispositif lui permet de passer à un management prédictif temps réel, qui couvrira à terme de nombreux champs d’extraction. Sachant qu’un champ peut compter des centaines de puits avec pour chacun trois modèles à déployer (prédiction de la production de pétrole, de gaz et d’eau), cela représente déjà des centaines de modèles déployés en production, monitorés et réentraînés !

Instaurer une culture où les données et l’IA sont omniprésentes

Partie intégrante d’une entreprise data-driven, la maturité face à la data et à l’IA est aussi une question de démocratisation des capacités analytiques, de ML et d’IA pour aider les utilisateurs métiers à prendre des décisions éclairées et améliorer leur impact respectif. Cela implique une véritable et forte culture data grâce à une collaboration et un partage reposant sur une technologie de pointe. Cela n’est possible qu’avec une architecture de données moderne, telle qu’évoquée précédemment, où les utilisateurs autorisés ont accès aux données pertinentes pour générer rapidement des informations qui créent de la valeur.

Cependant, une gestion des données de nouvelle génération au niveau des systèmes et du leadership nécessite souvent de combler le fossé entre les équipes data, les utilisateurs finaux et les employés du front ou du back-office qui ont besoin d’informations basées sur les données pour prendre des décisions au quotidien. Une bonne façon de remédier à cette lacune est d’intégrer des data scientists directement au sein des départements où ils interagissent régulièrement avec les utilisateurs ou de mettre l’analytique à la disposition directe des utilisateurs, afin qu’ils en tirent eux-mêmes des informations en fonction de leurs besoins. En d’autres termes, il faut pousser les données plus près de la « périphérie », là où se trouve l’utilisateur, afin qu’il soit en mesure de réaliser lui-même des analyses, plutôt que de simplement consommer celles produites par un tiers.

Le choix d’une architecture de type lakehouse et d’une véritable culture data sont deux ingrédients essentiels pour réussir à créer de la valeur à partir de projets IA. Mais en plus de cela, l’entreprise doit constamment savoir où elle en est dans son parcours vers la maturité data et IA. L’adoption d’un modèle d’évaluation des compétences clés nécessaires lui permet de structurer le dialogue entre les équipes et la compréhension des étapes d’amélioration concernant les activités critiques de l’entreprise. Celles qui doivent être dynamisées, rendues plus cohérentes et plus stables grâce à l’intégration de données à grande échelle et à une véritable culture data. Il s’agit tout simplement d’un modèle basé sur la collaboration à tout moment, à tous les niveaux, et tous ensemble.