Vers une meilleure qualité de données : l’IA vient en renfort

David Cox, Outbound product manager chez Semarchy partage son point de vue sur le sujet.

Avec plus de 60 téraoctets d’informations traitées annuellement, les entreprises croulent sous une montagne de données qui continue de s’accroître à un rythme effréné – entre 35 % à 50 % annuellement. Or, une bonne partie reste toujours non exploitée – “dark data”. Une étude de Veritas estime que les dark data représentent a minima 52 % des données stockées dans le monde[1]. Et ces données inutilisées ou inexactes sont loin d’être « gratuites » puisqu’elles coûtent aux entreprises américaines 3 100 milliards de dollars par an. 

Dès lors, disposer de données de haute qualité devient une priorité pour les entreprises. Et les bénéfices à la clé sont nombreux au-delà de la diminution de l’espace de stockage : de meilleures informations sur ses clients, une prédiction de leurs besoins futurs, ainsi qu’un meilleur alignement de la stratégie commerciale jusqu’à une croissance financière accélérée.

Avant de parler de solutions technologiques, monter en qualité est avant tout une stratégie d’entreprise. Cette dernière repose sur une gouvernance qui vient définir et établir des politiques claires, et appliquer des normes strictes afin de garantir la cohérence et la fiabilité des données.

Parallèlement à ce cadre collaboratif, le choix d’une solution de Master Data Management, permettant aux entreprises de disposer de données de qualité, est tout aussi important. Aussi, les technologies telles que l’IA et le Machine Learning vont logiquement avoir un rôle fondamental dans ce processus d’extraction de la valeur des données et pourraient transformer les méthodologies de la mise en qualité des données notamment pour leur nettoyage et déduplication.

Un assistant AI pour les spécialistes de la donnée

La mise en qualité des données est particulièrement chronophage pour les spécialistes de la donnée ainsi que pour les métiers. Mais elle est aussi extrêmement coûteuse : le nettoyage et la déduplication des données nécessitent des corrections manuelles et il est toujours possible d’introduire des erreurs..

L’IA présente de nombreux avantages pour faire bouger les lignes au sein des entreprises dont le potentiel d’obtenir des données de meilleure qualité. Aussi, les spécialistes de la donnée comme les data stewards peuvent désormais se doter d’un assistant IA pour accomplir des tâches plus efficacement et rapidement, en particulier avec l’automatisation de la mise en correspondance des données. 

Dans un premier temps, en automatisant les processus standardisés, les solutions de MDM enrichies avec l’IA éliminent les incohérences qui s’immiscent lors de saisies manuelles répétitives. Les algorithmes révèlent alors les anomalies cachées dans des ensembles de données massifs de manière plus fiable que l’œil humain.

Mais les entreprises peuvent aller plus loin dans leur utilisation de l’IA. Grâce aux Large Language Models (LLM), les entreprises vont pouvoir améliorer leurs règles de gestion. Concrètement, l’IA pourra être entraînée sur les choix faits par les data stewards pour analyser les règles de gestion dans le but d’améliorer le nettoyage de données. Une fois ces règles formalisées, ces dernières peuvent ensuite être automatisées par l’IA et reportées dans le MDM. Les métiers n’auront alors qu’une courte liste des meilleures suggestions pour qualifier la donnée assurant un gain de temps notable.

Toutefois, l’IA n’est pas exempte de tout défaut. Le risque d’hallucination est bien réel. Selon l’entreprise californienne Vectara, qui teste les grands acteurs du marché, les taux d’hallucination vont de 3 % pour ChatGPT à 27,2 % pour Google Palm 2 Chat, en passant par 9,4 % pour Mistral 7B. Il ne s’agirait pas tant de la technologie en tant que telle, mais plutôt “de la façon dont les utilisateurs formulent leurs questions plutôt que du fonctionnement intrinsèque des IA génératives », estime ainsi Philippe Limantour, directeur technologies et cybersécurité chez Microsoft France. Les entreprises doivent donc en être conscientes et se doivent de formuler des promptes pour éviter que l’IA ne (re)tombe dans ses travers.  

L’intelligence artificielle et le machine learning ouvrent le champ des possibles pour aider les entreprises à monter en qualité et faire place nette. Loin d’être un gadget, l’IA devient un copilote du quotidien pour les métiers mais également pour les professionnels de la donnée. Mais comme toute aide, l’IA ne peut être la même selon le profil d’utilisateurs : si R2-D2 dans Star Wars est idéal sur un champ de bataille, C-3PO lui serait plutôt un allié pour la diplomatie.