Effectuer des recherches et requêtes sur le web avec Ada

Bonjour, bonjour Hibou, bonjour Zen, et bonjour à tous et à chacun de toutes manières.

J'utilise donc Ada Web Server pour scruter le WWW avec Ada.
Je suis à la recherche d'un moyen une méthode pour optimiser mes recherches qui aboutissent rarement.

En fait ce n'est pas la recherche même qui pose problème, mais le parcours du WWW.

Pour le moment, enfin, j'ai essayé avec des timeouts de 1 à 2seconde, je tire une adresse IPv4 aléatoirement en évitant le réseau local et les réseaux privés.

J'obtiens comme ceci environ 80% de Get timeout et 10% de réseau introuvable ou non autorisé.

10% donc aboutisse au chargement d'un page.
Je cherche ce qui cloche,

Merci pour vos réponses.

Si je devine bien, il manque un Host dans l’entête de tes requêtes.

HTTP 1.1 a introduit le champs Host, pour permettre à plusieurs noms de domaine de répondre depuis la même IP. Si ce champs n’est pas présent ou mal renseigné, un serveur hébergeant plusieurs sites par exemple, ne sait pas auprès de quel site la requête est faite, et alors il n’y répond pas ou pas comme attendu.

Sans champs Host, une requête est comme en HTTP 1.0, qui n’est plus que peu utilisé depuis bien longtemps.

Merci Hibou.

la fonction Ada Aws.Client.Get (URL : string; .../...) return Reponse.Data;



Comme tu peux voir, je n'ai pas de champ Host.
Je passe l'adresse IP dans le champ URL.
Heureusement, AWS est bien en version 1.1.

Cela dit, je vais essayer d'exploiter le champ Follow_Redirection.

Si tu vois autre chose qui peut m'aider..
Merci en tout cas de m'avoir remis le nez sur ce prototype.

Host est un champs d’entête, c’est donc dans la liste de champs d’entête Headers qu’il faut le passer. Le paramètre déclaré ainsi dans ton extrait :



D’après la déclaration, c’est par défaut une liste vide … normal que ça ne marche pas .


Mais pour les serveurs qui la reçoivent, la requête émane d’un client défectueux, car le champs Host est obligatoire en HTTP 1.1, et il la traitent comme une requête HTTP 1.0.

Commet faire alors ?

Instancier un Header_List (probablement un conteneur générique), y ajouter l’élément correspondant, et passer cette instance de Header_List en paramètre.

Je pense bien, mais comment savoir ce que je doit mettre dans la liste ?

Normalement, un élément de Headers_List devrait avoir deux membres. Un pour le nom du champs, qui doit être “Host” et l’autre pour le nom de l’hôte, qui doit être le nom de domaine, sans le préfixe du protocole et sans barre oblique à la fin. Par exemple pour ce forum, l’hôte serait “bulleforum.net”. Si c’est un sous‑domaine, il faut indiquer l’hôte et le sous‑domaine, comme par exemple “www.site.fr” ou “blog.site.fr”, de la même manière, sans préfixe de protocole ni barre oblique à la fin.

Ah.

Et donc, à chaque adresse IP il peut y avoir plusieurs Host,
Donc après l'adresse IP, je devrais parcourir tout les mots composable ?
Je peux pas mettre "*" ?

Non, ce n’est pas comme ça, et il n’est pas possible d’utiliser un joker et il ne peut y avoir qu’un seul champs Host, et par une convention fortement appliquée (bien que ce ne soit pas formellement requis par la spécification HTTP 1.1), ce champs vient toujours en premier, c’est à dire juste après le GET, c’est à dire qu’il faut ajouter cet élément en premier dans la liste.

Si tu utilises un joker, le serveur ne sait pas quoi renvoyer (s’il y a plusieurs sites sur le serveur, il ne va pas en choisir un au hasard), idem si tu utilises plusieurs champs Host, et ces deux choses rendent la requête non‑conforme, par spécification, de toutes manières.

Il faut faire comme ça : prendre le nom de domaine, par exemple “bulleforum.net”, résoudre son adresse IP, par exemple actuellement “82.165.52.26”. Dans l’élément, comme nom du champs, donner “Host” et comme valeur du champs, donner “bulleforum.net”, puis soumettre la requête à l’adresse IP.

Une requête HTTP 1.1 ne se fait jamais avec seulement une IP, et d’ailleurs, c’est très déconseillé de scruter les IP sur le Web, il faut l’explorer avec des noms de domaines, et obtenir l’IP des noms de domaine, et non‑pas explorer des IP au hasard.

Explorer des IP au hasard, c’est même courir le risque d’un black‑listage ou de se faire remarquer comme pirate.