Pourquoi les projets Big Data ont besoin des moteurs de recherche ?

Rapidité, simplicité, facilité, distribution …

Pourquoi a-t-on besoin de moteurs de recherche dans le milieu Big Data ?

Revenons sur un point, «  les moteurs de recherche sont distribués, fragmentés et devenus scalables avant même l’ère Big Data ». De plus, les moteurs de recherche peuvent gérer des milliards d’enregistrements, on parle dorénavant en millisecondes. Et « ce même concept est exploité dans Hadoop ».

Mais, pourquoi a-t-on besoin des moteurs de recherche dans ce contexte ?

Aujourd’hui « certes, nous commençons à mettre en production les datalakes, mais pour aller rechercher et puiser les informations plus tard, il sera nécessaire de taper une requête afin de récupérer les informations stockées. A ce moment-là, disposerez-vous de toutes les informations pour savoir ce qu’on a mis dans le datalake ?». Or, comment taper ces requêtes, car n’importe quel datalake c’est plus 95 % de tables structurées. « Quand on fait des requêtes SQL, on fait des ‘like’, alors que quand on utilise les moteurs de recherche c’est un million de fois plus rapide que les ‘like’, les temps de réponse sont courts ». Faire des recherches avec des mots clés permet de trouver les informations utiles !

Les mécanismes de recherche sont facilement distribuables sur de larges clusters, d’autant que les données sont devenues hautement volumétriques.

Et la variété des données ?

Actuellement, on n’analyse que des données structurées, mais quid de la variété des données ? « Cette variété est oubliée dans la mise en place des datalakes, l’analyse des full text n’est pas prise en compte, tout comme les champs multi valeurs ». Il semble que les tables soient mieux gérées par les moteurs de recherche que les bases de données. Face aux données non structurées, on note un manque évident de maturité des traitements.

De plus, derrière les moteurs de recherche, on trouve « des histogrammes, comptage, additions, multiplications et moyennes … c’est mille fois plus rapide que les autres alternatives » et il est possible de réaliser des tableaux de bord, des rapports et analyses.

« On a vraiment besoin de travailler avec les moteurs de recherche dès maintenant et, en amont des projets. En effet, ne pas ignorer les moteurs de recherche est primordial » conclut l’expert du Pôle Consulting.