Donner du sens aux benchmarks sur le Web

par Pam Jones
En sachant interpréter les données des benchmarks, on arrive à  distinguer les faits des effets de manche Pendant longtemps, les benchmarks standard ont rassuré les acheteurs en les convainquant que le matériel qu'ils achetaient était une bonne affaire, ou, à  tout le moins, que ses performances étaient comparables à  celles des autres. Il est vrai que, bien que fonction des fournisseurs et sujets à  la mauvaise interprétation par les clients, les benchmarks fournissent une base de comparaison, même imparfaite. Or, à  l'ère d'Internet, les benchmarks traditionnels comme TPC-C s'avèrent insuffisants. La soudaine explosion du Web a engendré des charges de travail nouvelles et différentes, hors de portée des moyens de mesure habituels. Les utilisateurs ont du mal à  comparer entre elles les applications des serveurs Web et de e-commerce. Mais voici que, récemment, sont apparus de nouveaux benchmarks Web et Java fort intéressants. Quoique non exhaustifs, ils offrent un point de départ pour évaluer les performances des serveurs AS/400e face aux nouvelles charges de travail du e-commerce. (Pour plus d'informations sur ces benchmarks, reportez-vous à  l'encadré "Benchmarks standard Web et Java").

Les benchmarks fournissent une base de comparaison, même imparfaite

Il existe à  ce jour quatre benchmarks indépendants des fournisseurs, permettant de juger des forces de l'AS/400 en tant que serveur Web. Deux d'entre eux mesurent les services Web directement, les deux autres mesurant les points forts de Java sur une machine. Comme Java a été consacré "langage de l'Internet", et qu'un nombre croissant d'utilisateurs AS/400 utilisent ou envisagent Java pour leurs déploiements Web, ces benchmarks Java sont également utiles pour évaluer le potentiel d'un serveur sur le Web. Outre les quatre benchmarks standard, il existe deux benchmarks internes à  IBM pour le service Java, souvent cités dans la communauté des développeurs sur AS/400.

VolanoMark, de Volano LLC et SPECweb99 de SPEC (Standard Performance Evaluation Corporation), mesurent respectivement les performances des services Java et Web. Ces deux benchmarks, bien qu'instructifs, sont loin de représenter les lourdes charges de travail mixtes et très transactionnelles qui caractérisent de plus en plus l'activité d'un serveur Web. SPECjbb2000 de SPEC et TPC-W du Transaction Processing Council sont les derniers benchmarks qui tentent de reproduire un service transactionnel plus complexe en Java et sur le Web.
Si on analyse ces nouveaux benchmarks Web et Java pour comparer l'AS/400 à  ses concurrents (ou pour l'en défendre), pour de nouvelles applications e-commerce, il est important de comprendre ce que chaque benchmark mesure, et en quoi le cas testé se compare au déploiement concret envisagé. "La meilleure méthode pour un utilisateur, consiste à  mieux comprendre le benchmark, et à  comparer ce modèle… à  son propre environnement applicatif", suggère un document TPC. "S'il y a correspondance approximative, on dispose probablement d'un outil utile et pertinent pour comparer les différents systèmes que l'on envisage d'installer."