Extraire les informations d’une page Web

D’emblée, Windows 2000 et les OS plus récents possèdent de multiples composantes capables d’extraire des données Web. Les versions 32- bit antérieures de Windows font en général aussi bien si elles ont reçu des patches et des packs de fonctions depuis 1999. La composante la plus évidente permettant d’extraire des données d’une page Web, et d’ailleurs celle que je n’utilise pas personnellement, est Microsoft IE (Internet Explorer). Bien que IE ait de nombreux usages dans les scripts, il est conçu pour un affichage interactif. IE pose des problèmes quand on l’utilise dans des sessions non graphiques, il risque de déclencher des erreurs qui bloquent la progression, et il peut avoir des effets secondaires quand on l’applique à un contenu distant arbitraire. De plus, IE est lent parce qu’il extrait et affiche automatiquement le contenu supplémentaire du genre images.

Pour extraire des données sur une connexion HTTP, j’utilise généralement la composante suivante : XMLHTTP requester de Microsoft dans msxml.dll. Nous commençons par créer une référence vers le requester, comme celle-ci :

Dim xml Set xml = CreateObject _ ("Microsoft.XMLHTTP")

L’utilisation de XMLHTTP requester se fait en trois étapes : ouvrir une connexion, envoyer la requête, et extraire la réponse. Ici, ouvrir la connexion signifie également préciser ses détails. La forme complète de la méthode open pour Microsoft.XMLHTTP se présente ainsi, avec les arguments facultatifs mis entre crochets :

open(method, url, [async], [user], [pass])

L’argument method est une chaîne spécifiant le type de la requête. Pour les connexions HTTP, c’est généralement « GET ».

L’argument url est lui aussi une chaîne et devrait être une URL légale complète si notre requête porte sur un contenu distant.

L’argument url fonctionne aussi avec le contenu des fichiers locaux et, dans ces cas, le chemin complet vers le fichier suffira : nul besoin d’ajouter un préfixe file:// au chemin du fichier.

Ici, nous utilisons simplement l’URL que nous voyons dans le navigateur en examinant la page de configuration distante que nous voulons. Le routeur particulier que j’utilise, un routeur DSL HomePortal 1800HG utilisé par beaucoup de particuliers et de petits bureaux pour l’accès Internet, montre son adresse IP publique sur la page http://10.1.1.1/ ?PAGE=B01, donc c’est cette URL que nous spécifierons.

L’argument async facultatif indique au requester s’il doit attendre la réponse (comportement synchrone – une valeur False) ou continuer par la ligne suivante de code immédiatement après l’envoi de la requête (comportement asynchrone – une valeur True). Par défaut, c’est-à-dire si elle n’est pas spécifiée, la valeur est True et ce n’est pas ce que nous voulons. Quand nous envoyons notre requête, nous voulons que notre script attende une réponse parce que la tâche suivante traitera les résultats. Donc nous devons spécifier False.

Les deux arguments suivants sont extrêmement utiles pour qui doit accéder à des ressources restreintes. Il faut simplement veiller à les coder en dur dans un script. S’il faut fournir un nom et un mot de passe utilisateur pour accéder à une ressource, vous pouvez les spécifier comme arguments user et pass afin que votre requête ne provoque pas une erreur d’authentification. Inutile de les spécifier si la ressource n’a pas besoin d’authentification. Et on peut aussi spécifier une chaîne vierge pour les arguments en utilisant vbNullString ou un jeu de guillemets doubles vides ("").

Puisque nous disposons de toutes les informations nécessaires pour ouvrir la connexion, nous pouvons ajouter la ligne de script suivante à notre code :

xml.open "GET", _ "http://10.1.1.1/?PAGE=B01", _ False

A ce stade, nous avons configuré et ouvert la connexion, mais pas encore effectué une requête. Pour cela, nous appelons la méthode send :

xml.send

Après quoi nous pouvons obtenir les données de page en retour, en lisant la propriété responseText du demandeur :

data = xml.responseText

Toute la page est maintenant disponible sous forme de données dans notre script. Si mon explication est longue, sachez que le code réel n’est que de quatre lignes. Comme vous le verrez quand j’envelopperai le code dans une fonction à la fin de l’article, nous pouvons l’appeler par une seule ligne de code pour une utilisation répétitive. Nous avons nos données, mais il reste du pain sur la planche. Nous sommes en quête d’une adresse IP. Quand nous regardons la page de configuration de routage dans un navigateur, nous voyons une bonne dizaine de lignes de texte contenant environ cinq bits réels de données en dur, dont l’adresse IP présentée de la façon suivante :

Internet Address: www.xxx.yyy.zzz

Cependant, les données que notre requête renvoie comportent beaucoup de « bruit », c’est-à-dire des éléments parasites, qu’il faut supprimer pour obtenir ce que nous voulons. Il y a plus de 200 lignes de texte et 1250 mots environ, et il nous faut trouver dans cette masse un mot unique.