Des données trop nombreuses, parfois inutiles et souvent coûteuses… le Big Data n’a pas eu que des bons côtés.
Vers une meilleure qualité de données : l’IA vient en renfort
![Vers une meilleure qualité de données : l’IA vient en renfort Vers une meilleure qualité de données : l’IA vient en renfort](https://www.itpro.fr/wp-content/uploads/2024/08/Vers-une-meilleure-qualite-de-donnees-lIA-vient-en-renfort-@iTPro.fr_.jpg)
David Cox, Outbound product manager chez Semarchy partage son point de vue sur le sujet.
Avec plus de 60 téraoctets d’informations traitées annuellement, les entreprises croulent sous une montagne de données qui continue de s’accroître à un rythme effréné – entre 35 % à 50 % annuellement. Or, une bonne partie reste toujours non exploitée – “dark data”. Une étude de Veritas estime que les dark data représentent a minima 52 % des données stockées dans le monde[1]. Et ces données inutilisées ou inexactes sont loin d’être « gratuites » puisqu’elles coûtent aux entreprises américaines 3 100 milliards de dollars par an.
Dès lors, disposer de données de haute qualité devient une priorité pour les entreprises. Et les bénéfices à la clé sont nombreux au-delà de la diminution de l’espace de stockage : de meilleures informations sur ses clients, une prédiction de leurs besoins futurs, ainsi qu’un meilleur alignement de la stratégie commerciale jusqu’à une croissance financière accélérée.
Avant de parler de solutions technologiques, monter en qualité est avant tout une stratégie d’entreprise. Cette dernière repose sur une gouvernance qui vient définir et établir des politiques claires, et appliquer des normes strictes afin de garantir la cohérence et la fiabilité des données.
Parallèlement à ce cadre collaboratif, le choix d’une solution de Master Data Management, permettant aux entreprises de disposer de données de qualité, est tout aussi important. Aussi, les technologies telles que l’IA et le Machine Learning vont logiquement avoir un rôle fondamental dans ce processus d’extraction de la valeur des données et pourraient transformer les méthodologies de la mise en qualité des données notamment pour leur nettoyage et déduplication.
Un assistant AI pour les spécialistes de la donnée
La mise en qualité des données est particulièrement chronophage pour les spécialistes de la donnée ainsi que pour les métiers. Mais elle est aussi extrêmement coûteuse : le nettoyage et la déduplication des données nécessitent des corrections manuelles et il est toujours possible d’introduire des erreurs..
![](https://www.itpro.fr/wp-content/uploads/2024/08/David-Cox-1024x1024.jpg)
L’IA présente de nombreux avantages pour faire bouger les lignes au sein des entreprises dont le potentiel d’obtenir des données de meilleure qualité. Aussi, les spécialistes de la donnée comme les data stewards peuvent désormais se doter d’un assistant IA pour accomplir des tâches plus efficacement et rapidement, en particulier avec l’automatisation de la mise en correspondance des données.
Dans un premier temps, en automatisant les processus standardisés, les solutions de MDM enrichies avec l’IA éliminent les incohérences qui s’immiscent lors de saisies manuelles répétitives. Les algorithmes révèlent alors les anomalies cachées dans des ensembles de données massifs de manière plus fiable que l’œil humain.
Mais les entreprises peuvent aller plus loin dans leur utilisation de l’IA. Grâce aux Large Language Models (LLM), les entreprises vont pouvoir améliorer leurs règles de gestion. Concrètement, l’IA pourra être entraînée sur les choix faits par les data stewards pour analyser les règles de gestion dans le but d’améliorer le nettoyage de données. Une fois ces règles formalisées, ces dernières peuvent ensuite être automatisées par l’IA et reportées dans le MDM. Les métiers n’auront alors qu’une courte liste des meilleures suggestions pour qualifier la donnée assurant un gain de temps notable.
Toutefois, l’IA n’est pas exempte de tout défaut. Le risque d’hallucination est bien réel. Selon l’entreprise californienne Vectara, qui teste les grands acteurs du marché, les taux d’hallucination vont de 3 % pour ChatGPT à 27,2 % pour Google Palm 2 Chat, en passant par 9,4 % pour Mistral 7B. Il ne s’agirait pas tant de la technologie en tant que telle, mais plutôt “de la façon dont les utilisateurs formulent leurs questions plutôt que du fonctionnement intrinsèque des IA génératives », estime ainsi Philippe Limantour, directeur technologies et cybersécurité chez Microsoft France. Les entreprises doivent donc en être conscientes et se doivent de formuler des promptes pour éviter que l’IA ne (re)tombe dans ses travers.
L’intelligence artificielle et le machine learning ouvrent le champ des possibles pour aider les entreprises à monter en qualité et faire place nette. Loin d’être un gadget, l’IA devient un copilote du quotidien pour les métiers mais également pour les professionnels de la donnée. Mais comme toute aide, l’IA ne peut être la même selon le profil d’utilisateurs : si R2-D2 dans Star Wars est idéal sur un champ de bataille, C-3PO lui serait plutôt un allié pour la diplomatie.
Téléchargez cette ressource
![Guide des Solutions Cloud & Services Managés Simplifiés](https://www.itpro.fr/wp-content/uploads/2024/05/TOP-5-des-Services-Manages-Simplifies-2024-IT-Experts.jpg)
Guide des Solutions Cloud & Services Managés Simplifiés
Comment capitaliser sur son existant tout en bénéficiant, dès à présent, des promesses de flexibilité et de scalabilité du cloud ? Découvrez les bonnes pratiques pour répondre aux défis de simplification du Cloud dans ce nouveau TOP 5.
Les articles les plus consultés
- IBM #ThinkParis2018 : la transformation culturelle en marche
- L’expérience client : une feuille de route 2021 en 5 axes
- Le rôle de la 5G dans la croissance et relance économique
- Transformation digitale, 8 tendances à retenir
- L’impact positif de l’Intelligence Artificielle dans l’environnement de travail