Big Data -> 5 ans après : phénomène de mode ou réalité ?

Big Data – 5 ans après…

« Juvénal, pensez-vous qu’Hadoop sera-t-il totalement délaissé dans le futur ? », « Monsieur Chokogoue, ne pensez-vous pas que Spark remplacera Hadoop à terme ? », « Juvénal, Hadoop sera-t-il un jour dépassé ? »

Telles sont là les questions qui me sont de plus en plus posées par les professionnels, qui craignent s’être spécialisés sur la mauvaise technologie, par les journalistes, qui craignent qu’Hadoop ne soit finalement qu’une mode et par conséquent, les projets Big Data resteront toujours à l’état de PoC ; et par les étudiants, qui se demandent si c’est vraiment intéressant de suivre un cursus académique sur le Big Data.

📢 En réalité, ces questions cachent quelque chose de plus profond encore, celle de savoir si après plus de 5 ans, le phénomène de Big Data n’était finalement qu’une mode.

Nous avons décidé de répondre à cette question une fois pour toute dans cet article. Nous affirmons de prime abord que les opportunités du Big Data sont réelles et que Hadoop deviendra la plateforme standard de traitement de données dans le Big Data. Vous comprendrez pourquoi en lisant cet article.

Big Data : Petit rappel des faits

Tout d’abord, vous devez comprendre ce qu’est véritablement le Big Data. Aujourd’hui, il est perçu aux yeux de tous comme étant l’explosion de données, la taille phénoménale du volume de données produite par les activités du Numérique.

La définition bien connue qui lui est donnée c’est celle des 3V, Volume, Vitesse et Vélocité des données. D’ailleurs, cette perception volumique du Big Data est tellement ancrée dans les mœurs que la commission générale de terminologie et de néologie française a décidé qu’on appellera désormais « Big Data » officiellement par « mégadonnées » et y a associé la définition suivante : « données structurées ou non dont le très grand volume requiert des outils d’analyse adaptés ».

Malheureusement, concevoir le Big Data sous un aspect purement volumique c’est minimiser le potentiel économique de la donnée pour une entreprise et limiter sa perception vis-à-vis de la transition numérique qui est en cours ;

Vous devez comprendre que le Big Data n’est pas avant tout un phénomène de volumétrie de données, c’est un phénomène social. C’est la partie visible de la transition du monde de l’ère industrielle à l’ère Numérique. S’il vous plaît, relisez cette phrase. Le Big Data est la partie visible de la transition de l’économie industrielle vers l’économie Numérique. Cette transition a démarrée depuis 1989 avec la chute du mur de Berlin selon certains historiens.

Il provient principalement de la combinaison de 2 facteurs :

• la mise à disposition d’Internet entre les mains du grand public
• l’augmentation du nombre de personnes connectées à Internet

En effet, la vulgarisation d’Internet a entraîné la digitalisation des activités des entreprises, celle-ci est survenue au même moment que l’augmentation du nombre de personnes connectées à Internet par le biais des Smartphones et autres gadgets.

Des données, encore des données…

Aujourd’hui, il n’y a plus qu’à travers les smartphones que les utilisateurs sont connectés à Internet, ils y sont aussi par le biais des véhicules (on parle de véhicules connectés), de leur maison (maison connectés), ainsi de suite. Toutes ces activités digitales génèrent des données.

Combinez à toutes ces activités le nombre d’internautes (ou d’objets) connectés à Internet et vous vous retrouvez très vite avec un volume de données sans précédent.

Traditionnellement, l’approche technologique de gestion des données consiste à centraliser le stockage et le traitement des données dans un serveur de base de données central placé dans une architecture client/serveur.  Malheureusement, aujourd’hui, l’échelle de croissance des données du Big Data surpasse largement la capacité raisonnable des technologies traditionnelles, ou même la configuration matérielle typique supportant les accès à ces données.

La nouvelle approche technologique consiste à distribuer le stockage des données et à paralléliser leur traitement sur les nœuds ou machines d’un cluster. Hadoop est, aujourd’hui, l’implémentation logicielle la plus mature de cette approche.

Hadoop, nouveau Standard

Hadoop va devenir la plateforme standard de traitement de données un peu comme Excel l’est devenu depuis les années 90 jusqu’aujourd’hui. Sur quoi nous basons-nous pour faire une telle affirmation ? Simple !

Dans l’économie industrielle, l’opportunité était liée à la taille du marché. La demande était relativement stable.  Tout ce qu’il suffisait de faire pour identifier une opportunité c’était trouver un besoin encore non-satisfait et estimer si la taille du marché était suffisante pour couvrir les coûts à engager. Dans l’économie Numérique, ce n’est plus nécessairement le cas.

La technologie y joue un rôle très important. Elle modifie de façon très profonde le comportement des consommateurs et redéfinit continuellement la demande. Par exemple, lorsque l’automobile a été introduite pour la première fois dans le marché, c’était considéré comme un luxe, mais avec le temps, lorsqu’on a réussi à la produire à grande échelle grâce à des techniques de production de masse, elle rapidement devenue un bien commode qui a profondément modifié nos conceptions de la mobilité et est aujourd’hui perçue comme une nécessité.

Pareil, les téléphones il y a quelque temps encore, ne faisaient pas partie de notre vie. Aujourd’hui, avec l’évolution technologique, ils sont devenus indispensables à la vie moderne.

En introduisant sur le marché de nouveaux produits qui deviennent la base d’un nouveau style de vie, la technologie crée des besoins qui n’existaient pas auparavant, ou du moins qui n’étaient pas perçus en tant que tel. Ainsi, c’est dans la technologie que se situe l’opportunité dans l’ère Numérique plus dans la demande comme dans l’ère industrielle.

Le nouvel âge de la Technologie, c’est la donnée

La technologie redéfinit continuellement ce qui constitue un besoin, c’est le principal déterminant de la demande. Ainsi, si vous voulez saisir les opportunités dans le Numérique, vous devez anticiper les technologies qui sont susceptibles d’influencer le niveau de la demande. D’ailleurs, l’histoire de l’humanité n’a-t-elle pas toujours été découpée en fonction de son niveau technologique ? (Age de bronze, Age de fer, Age agraire, Age industriel…etc.).

Traditionnellement, il est admis par de prestigieux auteurs tels que Nicolas Carr que ce qui fait d’une technologie un avantage compétitif ce n’est pas son ubiquité, ni même son niveau de performance, mais c’est sa rareté et le niveau de complexité associée à sa duplication. Cependant, l’évolution technologique réduit les coûts d’acquisition de la technologie (cf. loi de Gordon Moore), ce qui a pour conséquence de la banaliser ou de la « commoditiser« , détruisant ainsi l’avantage concurrentiel qui pouvait y émerger. Même les technologies les plus récentes finissent par rapidement devenir accessibles.

C’est par cette force de l’évolution technologique que les véhicules, les téléphones, les photocopieurs, les ordinateurs et même les produits aéronautiques finissent par rapidement devenir des produits de nécessité et de grande consommation.

Problème, avec la multiplicité des technologies développées chaque année, comment identifier LA technologie qui constitue une opportunité et qui est susceptible de bouleverser le comportement du consommateur ?

Dans l’ère Numérique, une opportunité se détecte en regardant le secteur de l’économie dans lequel la technologie ou les pratiques utilisées ont une efficacité inférieure aux évolutions technologiques du secteur. En d’autres termes, ce qui constitue une opportunité ce sont les avancées technologiques qui sont prêtes à devenir un standard dans la société.

S’il vous plaît relisez bien ces deux phrases et méditez un instant sur leurs implications !  Certains économistes qualifient ce types de technologies de RIT (Ready to be Implemented Technology). Les RIT c’est le meilleur procédé qui existe dans un domaine mais qui pour une raison ou une autre n’est pas encore adopté. C’est une technologie/pratique plus efficace que la technologie/pratique en vigueur sur le marché, mais qui pour une raison ou une autre n’est pas encore adoptée. Par exemple, les voitures électriques sont meilleures au niveau de l’impact environnemental que les voitures à moteur d’injection de dérivé du pétrole, cependant elles ne sont pas adoptées à large échelle à cause de l’indisponibilité des stations d’électricité par exemple.

Dans ce cas, comment reconnaît-on qu’une technologie ou une pratique est prête à devenir un standard ? Une technologie est prête à devenir un standard si elle est transparente à l’utilisateur.  Encore une fois, une technologie est prête à devenir un standard si elle est transparente à l’utilisateur ! En d’autres termes, une technologie devient un standard à partir du moment où elle ne demande pas plus de compétences à l’utilisateur que la technologie qu’elle va remplacer.

la loi de Metcalfe

C’est ce principe de transparence à l’utilisateur qui explique la fameuse loi de Metcalfe selon laquelle « la valeur d’une technologie est proportionnelle au carré du nombre de personnes qui l’utilise ».  C’est également ce qui justifie que le succès d’une technologie ne dépende pas des développeurs ou des utilisateurs spécialisés, mais des utilisateurs métiers.

En matière de gestion de données, le SQL est aujourd’hui un langage très commode et une compétence possédée par tout analyste métier digne de ce nom.  De plus, la majorité des systèmes opérationnels des entreprises (par exemple Business Objects, Oracle, SAS, Tableau, SAP, Genesys Info Mart, etc.) tourne sur le SQL. Ainsi, une technologie de gestion de données, aussi performante soit-elle, ne deviendra jamais un standard si elle n’est pas complètement intégrée au SQL.

En plus d’être mature et stable, Hadoop est l’une des rares plateformes technologiques du Big Data complètement intégrée au SQL et dans quelques années ne requerra pas plus de compétence que le SQL pour être exploitée.

C’est pour cela que nous pouvons dire avec assurance qu’Hadoop ne sera pas abandonné dans le futur, au contraire, sa standardisation ne fait que commencer. Spark a compris ce concept de transparence à l’utilisateur, mais n’est pas encore suffisamment mature pour remplacer Hadoop. Donc, soyez sans crainte et ne vous laissez pas déstabiliser, les opportunités d’Hadoop et du Big Data sont bel et bien réelles malgré le tapage médiatique.

Voilà, nous espérons que ce point de réflexion vous éclaire sur le futur du Big Data et d’Hadoop. Nous avons écrit l’ouvrage Hadoop – Devenez opérationnel dans le monde du Big Data  pour vous aider à développer les compétences de base nécessaires pour réussir dans le Big Data. Si vous débutez dans le Big Data, nous vous recommandons vivement de commencer par là.

Alors selon vous, le Big Data avec Hadoop va t’il passer le test de la durée ? Réagissez à cet article en laissant un commentaire ou en nous écrivant en privé à : contact@data-transitionnumerique.com