Les robots sont maintenant majoritaires sur le web

Auteur	Message
Hibou Administrateur	Dans le précédent message, dire que aucun blocage supplémentaire n’avait été ajouté, est à la fois vrai et faux. Aucun blocage d’IP n’a été ajouté, mais, et sans savoir si c’est une coïncide ou une cause, le fichier robots.txt a été modifié. Il a été ajouté la ligne “ Content-Signal: search=yes, ai-train=no, ai-input=no ” autant pour les robots « bloqués » que pour les robots non‑bloqués. C’était sans trop y croire, comme beaucoup de robots n’ont pas la politesse de tenir compte de robots.txt, ou seulement quand ça les arrange ou en jouant aux filous. La directive Content-Signal est une proposition de Cloudflare : contentsignals.org et Cloudflare offers way to block AI Overviews – will Google comply? (searchengineland.com), 24 Septembre 2025. Ci‑dessous, le “ # ... ” est pour dire que des choses ont été éludées, pour raccourcir. Il n’y a pas que les robots des IAs qui sont bloqués, d’autres aussi, pour d’autres raisons. Code : `User-agent:` `AhrefsBot` `User-agent:` `Amazonbot` `#` `...` `User-agent:` `TerraCotta` `User-agent:` `XoviBot` `Content-Signal:` `search=yes,` `ai-train=no,` `ai-input=no` `Disallow:` `/` `User-agent:` `*` `Content-Signal:` `search=yes,` `ai-train=no,` `ai-input=no` `Disallow:` `/cron.php` `Disallow:` `/mcp.php` `#` `...` Le ligne peut paraître sans objet pour les robots bloqués, mais c’est pour le notifier quand‑même et c’est aussi au cas où ils tiennent compte de cette indication même si c’est en ignorant l’interdiction d’aspirer le forum. Les jours prochains diront si c’est lié ou pas. En tous les cas, ils se sont tous arrêté en même temps, ou presque et c’est intriguant.
Hibou Administrateur	Un bon site d’information sur les robots qui s’identifient : crawlercheck.com/directory. C’est une page du site, qui fournit d’autres services, mais c’est celui‑ci qui intéresse dans ce contexte. Les robots qui se masquent ne peuvent être reconnus que par leurs IPs.

Auteur

Message

Dans le précédent message, dire que aucun blocage supplémentaire n’avait été ajouté, est à la fois vrai et faux. Aucun blocage d’IP n’a été ajouté, mais, et sans savoir si c’est une coïncide ou une cause, le fichier robots.txt a été modifié. Il a été ajouté la ligne “ Content-Signal: search=yes, ai-train=no, ai-input=no ” autant pour les robots « bloqués » que pour les robots non‑bloqués. C’était sans trop y croire, comme beaucoup de robots n’ont pas la politesse de tenir compte de robots.txt, ou seulement quand ça les arrange ou en jouant aux filous. La directive Content-Signal est une proposition de Cloudflare : contentsignals.org et Cloudflare offers way to block AI Overviews – will Google comply? (searchengineland.com), 24 Septembre 2025.

Ci‑dessous, le “ # ... ” est pour dire que des choses ont été éludées, pour raccourcir. Il n’y a pas que les robots des IAs qui sont bloqués, d’autres aussi, pour d’autres raisons.

Code :

User-agent: AhrefsBot
User-agent: Amazonbot
# ...
User-agent: TerraCotta
User-agent: XoviBot
Content-Signal: search=yes, ai-train=no, ai-input=no
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-train=no, ai-input=no
Disallow: /cron.php
Disallow: /mcp.php
# ...

Le ligne peut paraître sans objet pour les robots bloqués, mais c’est pour le notifier quand‑même et c’est aussi au cas où ils tiennent compte de cette indication même si c’est en ignorant l’interdiction d’aspirer le forum.

Les jours prochains diront si c’est lié ou pas. En tous les cas, ils se sont tous arrêté en même temps, ou presque et c’est intriguant.

Un bon site d’information sur les robots qui s’identifient : crawlercheck.com/directory. C’est une page du site, qui fournit d’autres services, mais c’est celui‑ci qui intéresse dans ce contexte. Les robots qui se masquent ne peuvent être reconnus que par leurs IPs.